ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム
【課題】動作の容易な解析を可能とする。
【解決手段】運動としてゴルフ練習の場合、ゴルフクラブがボールに衝撃を加えたときにインパクト音が発生する。インパクト検出部16は、この各タイミングをインパクト点として検出し、ゴルフ練習の成果を比較するためのインパクト情報をインパクト情報格納部17に格納する。ダイジェスト動画の再生時に並べ替えに用いるインパクト情報が選択されると、CPU21は、インパクト情報格納部17を参照し、格納されたこのインパクト情報に基づいて、生成した複数のダイジェスト動画を並べ替える。
【解決手段】運動としてゴルフ練習の場合、ゴルフクラブがボールに衝撃を加えたときにインパクト音が発生する。インパクト検出部16は、この各タイミングをインパクト点として検出し、ゴルフ練習の成果を比較するためのインパクト情報をインパクト情報格納部17に格納する。ダイジェスト動画の再生時に並べ替えに用いるインパクト情報が選択されると、CPU21は、インパクト情報格納部17を参照し、格納されたこのインパクト情報に基づいて、生成した複数のダイジェスト動画を並べ替える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムに関するものである。
【背景技術】
【0002】
従来、スポーツ番組等のダイジェスト(digest)画像(動画)を作成して表示するダイジェスト画像表示装置がある(例えば、特許文献1参照)。
【0003】
このダイジェスト画像表示装置は、テレビジョン放送において、音声信号のレベルを検出して、音声信号のレベルが閾値以上となるハイライトシーンを抽出することにより、ダイジェスト画像を作成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−284704号公報(第2−4頁、図1)
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、例えば、ビデオカメラや、デジタルカメラを用いて、ゴルフ練習の姿勢解析を行うケースが増えつつある。
【0006】
ゴルフ練習では、ゴルフスイングの良否がユーザのフォームに現れてくる。逆に、このフォームを解析してフォームを改善することができれば、ボールも目標とする方向に飛び、打ったボールの飛距離も延びてくる。
【0007】
また、ゴルフ練習の場合、スイングを複数回行うので、ダイジェスト動画を作成することにより、フォームの良否を判別しやすくなる。
【0008】
しかし、ビデオカメラや、デジタルカメラを従来のダイジェスト画像表示装置に接続してダイジェスト画像を作成しようとしても、ハイライトシーンを検出するだけでは、スイングのダイジェスト画像を作成することはできない。このため、従来のダイジェスト画像表示装置では、動作としてフォーム(姿勢)を詳細に解析することは難しい。
【0009】
本発明は、このような従来の問題点に鑑みてなされたもので、動作を容易に解析することが可能なダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
この目的を達成するため、本発明の第1の観点に係るダイジェスト画像表示装置は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記動作を比較するための比較情報を格納する比較情報格納部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、各タイミングの前記比較情報を取得して前記比較情報格納部に格納するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記比較情報格納部を参照し、格納された前記比較情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するダイジェスト画像表示部と、を備えたことを特徴とする。
【0011】
前記動作は、球を用いた運動であり、
前記映像取得部は、球を用いた運動を複数回行う被写体を撮影して前記被写体の映像を取得するようにしてもよい。
【0012】
前記動作は、補助具で前記球に衝撃を加えて飛球させる運動であり、
前記映像取得部は、補助具で前記球に衝撃を加えて飛球させる運動を複数回行う被写体を撮影して前記被写体の映像を取得し、
前記付随音取得部は、前記付随音として、前記補助具で前記球に衝撃を加えたときに発生する音を取得するようにしてもよい。
【0013】
前記付随音取得部は、前記球に衝撃が加えられて発生する衝撃音を前記付随音として取得するものであってもよい。
【0014】
前記付随音取得部は、前記付随音を取得するとともに前記付随音の大きさを取得するものであり、
前記タイミング検出部は、前記付随音取得部が取得した付随音に基づいて、前記付随音の大きさを、各タイミングの比較情報として取得し、取得した前記付随音の大きさを前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記付随音の大きさに基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0015】
前記ダイジェスト画像生成部が生成したダイジェスト画像毎に、前記被写体の動作を評価する評価値の入力を受け付けて、入力された評価値を前記比較情報として前記比較情報格納部に格納する評価値受付部を備え、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記評価値に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0016】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの前記補助具の速度を、各タイミングの比較情報として取得し、取得した前記補助具の速度を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記補助具の速度に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0017】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの球速を、各タイミングの比較情報として取得し、取得した前記球速を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記球速に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0018】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球の飛球方向を、各タイミングの比較情報として取得し、取得した前記飛球方向を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記飛球方向に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0019】
前記タイミング検出部は、時刻を計測する時刻計測部を備え、前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、検出したタイミングで前記時刻計測部が計測した時刻の時刻情報を、各タイミングの前記比較情報として取得し、取得した時刻情報を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記時刻情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0020】
本発明の第2の観点に係るダイジェスト画像表示装置は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記ダイジェスト画像生成部が各タイミング毎に生成したダイジェスト画像を、前記タイミング検出部が検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する合成画像生成部と、
前記合成画像生成部の前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するブレ量取得部と、
目標とする目標ブレ量と前記ブレ量取得部が取得した前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する評価部と、
前記合成画像生成部が生成した合成画像と前記評価部が評価した結果の評価結果とを表示するダイジェスト画像表示部と、を備えたことを特徴とする。
【0021】
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を比較して、前記被写体の姿勢の総ブレ量を取得し、
前記評価部は、目標とする目標総ブレ量と前記被写体の総ブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するようにしてもよい。
【0022】
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を、それぞれ複数のブロックに分割し、分割したブロック毎の前記被写体の姿勢の局所ブレ量を取得し、
前記評価部は、前記ブレ量取得部が取得した各局所ブレ量と前記各局所ブレ量の目標とする目標局所ブレ量とをそれぞれ比較し、前記被写体の各局所ブレ量と目標局所ブレ量との差に基づいて前記被写体の動作を前記ブロック毎に評価し、
前記ダイジェスト画像表示部は、前記ダイジェスト画像生成部が生成した前記ダイジェスト画像と前記評価部がブロック毎に評価した評価結果とを表示するようにしてもよい。
【0023】
前記評価部は、前記被写体の各局所ブレ量と目標局所ブレ量との差と、前記差に対して予め設定された閾値とを比較し、前記差が前記閾値以上となったブロックの画像に、評価結果を示すための画像処理を施すようにしてもよい。
【0024】
前記ダイジェスト画像生成部は、前記タイミング検出部が検出した1つのタイミングにおいて1回の動作における複数のダイジェスト画像を生成し、
前記評価部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を並べて合成するようにしてもよい。
【0025】
前記目標ブレ量を記憶する目標ブレ量記憶部を備え、
前記評価部は、前記目標ブレ量記憶部を参照して、前記目標ブレ量を取得するようにしてもよい。
【0026】
本発明の第3の観点に係るダイジェスト画像表示方法は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得するステップと、
取得した前記比較情報を格納するステップと、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
格納された前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示するステップと、を備えたことを特徴とする。
【0027】
本発明の第4の観点に係るダイジェスト画像表示方法は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成するステップと、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するステップと、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するステップと、
前記合成画像と評価した結果の評価結果とを表示するステップと、を備えたことを特徴とする。
【0028】
本発明の第5の観点に係るプログラムは、
コンピュータに、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得する手順、
取得した比較情報を格納する手順、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
格納した前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示する手順、
を実行させるためのものである。
【0029】
本発明の第6の観点に係るプログラムは、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する手順、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得する手順、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する手順、
前記合成画像と評価した結果の評価結果とを表示する手順、
を実行させるためのものである。
【発明の効果】
【0030】
本発明によれば、動作を容易に解析することができる。
【図面の簡単な説明】
【0031】
【図1】本発明の実施形態1に係るデジタルカメラの構成を示すブロック図である。
【図2】ユーザのゴルフ練習の様子を撮影するデジタルカメラを示す図である。
【図3】デジタルカメラの外観を示す図であり、(a)、(b)、(c)は、それぞれ、デジタルカメラの上面、前面、後面を示す。
【図4】図3に示す液晶モニタに表示されるメニューを示す図であり、(a)は、動画撮影メニュー、(b)は再生メニュー、(c)は、並べ替えメニューを示す。
【図5】図1に示すインパクト検出部の構成を示す図である。
【図6】図3に示すインパクト検出部の特性、データ例を示す図であり、(a)は、インパクト検出部内の低周波除去フィルタの特性を示す図であり、(b)は、低周波除去フィルタを通過したデータ例を示す図である。
【図7】ゴルフクラブのスイング速度を求める方法を示す図である。
【図8】飛球方向を求める方法を示す図である。
【図9】インパクト情報格納部が格納するインパクト情報を示す図である。
【図10】デジタルカメラが実行する撮影処理を示すフローチャートである。
【図11】デジタルカメラが実行する再生処理(1)を示すフローチャートである。
【図12】実施形態1に係るデジタルカメラの動作の具体例を示す図である。
【図13】本発明の実施形態2に係るデジタルカメラの構成を示すブロック図である。
【図14】図13に示す参照ブレ情報格納部が格納する参照データに用いられる上級者の例を示す図であり、(a)は、上級者のスイングを示し、(b)は、(a)に示す上級者の映像を8つのブロックに分割した例を示す。
【図15】図13に示す採点部の画像合成処理を示す図である。
【図16】液晶モニタに表示されるメニューを示す図であり、(a)は選択メニュー、(b)は、採点方法選択メニューを示す。
【図17】撮影時、デジタルカメラの位置決め用として、図13に示すCPUが液晶モニタに表示させる指示枠を示す図である。
【図18】実施形態2に係るデジタルカメラが実行する再生処理(2)を示すフローチャートである。
【図19】実施形態2に係るデジタルカメラの動作の具体例として、採点部が生成した合成画像を示すものであり、(a)〜(d)は、それぞれ、例として、4つのフレーム画像を合成した合成画像を示す。
【図20】実施形態2に係るデジタルカメラの動作の具体例として、総ブレ量による採点方法を用いた場合に、表示部が液晶モニタに表示した合成画像と採点結果とを示す図である。
【図21】実施形態2に係るデジタルカメラの動作の具体例として、局所ブレ量による採点方法を用いた場合に、表示部が液晶モニタに表示した合成画像と採点結果とを示す図である。
【図22】実施形態1の並べ替えの応用例(1)を示す図であり、(a)は、1つのダイジェスト動画と他のダイジェスト動画とを比較のため、液晶モニタ内で並べ替える例を示し、(b)は、複数のダイジェスト動画を液晶モニタ内で整列させて並べ替える例を示す。
【図23】実施形態1の並べ替えの応用例(2)として、自己採点を選択するための各メニューを示す図であり、(a)は、ダイジェスト動画オプションメニューを示し、(b)は、自己採点メニューを示し、(c)は、並べ替えメニューを示す。
【図24】応用例(2)のデジタルカメラが実行する音声データ取得処理を示すフローチャートである。
【図25】応用例(2)のインパクト情報格納部が格納するインパクト情報を示す図である。
【図26】応用例(2)のデジタルカメラが実行する再生処理(3)を示すフローチャートである。
【発明を実施するための形態】
【0032】
以下、本発明の実施形態に係るダイジェスト画像表示装置を図面を参照して説明する。尚、本実施形態では、ダイジェスト画像表示装置をデジタルカメラとして説明する。
(実施形態1)
実施形態1に係るデジタルカメラの構成を図1に示す。
実施形態1に係るデジタルカメラ1は、操作インタフェース11と、音声認識ROM12と、映像・音声入力部13と、エンコーダ14と、記憶部15と、インパクト検出部16と、インパクト情報格納部17と、デコーダ18と、表示部19と、スピーカ20と、CPU21と、を備える。
【0033】
本実施形態1では、動作、運動としてゴルフ練習を対象として説明する。ゴルフは、ボールを用いた競技であり、ゴルフでは、補助具としてゴルフクラブを使用し、ゴルフクラブでボールに衝撃を加えてボールを飛球させる。
【0034】
ゴルフ練習では、被写体としてのユーザの動作に付随して、ゴルフクラブでボールに衝撃を加えたときのインパクト音が、動作に付随する付随音として発生する。
【0035】
また、ゴルフ練習では、ユーザが同じようなスイング動作を複数回行い、その都度、インパクト音が発生する。
【0036】
本実施形態1のデジタルカメラ1は、インパクト音が発生するタイミングのこのインパクト点を検出し、検出したインパクト点のインパクト情報に基づいてダイジェスト動画(画像)を生成する。このダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画である。
【0037】
そして、デジタルカメラ1は、インパクト情報に基づいて各ダイジェスト動画を整列させることにより、ユーザの動作、運動としてのゴルフ練習の成果を解析できるようにしたものである。
【0038】
このデジタルカメラ1は、高速連写可能なカメラであり、図2に示すように、三脚2に取り付けられて、画角内に、ゴルフ練習者としてのユーザ3と、ゴルフクラブ4と、ボール5と、が収まるように設置される。そして、デジタルカメラ1は、ユーザ3のゴルフ練習の様子を撮影する。
【0039】
デジタルカメラ1は、図3(a)、(b)に示すように、上面部に、電源ボタン31とシャッタボタン32とを備え、前面部に、レンズ33とマイク34とLEDランプ35とフラッシュ36とを備える。
【0040】
また、デジタルカメラ1は、図3(c)に示すように、後面部に、動画撮影ボタン37と静止画撮影ボタン38と再生ボタン39と液晶モニタ40とメニューボタン41と、コントロール部42とを備える。
【0041】
図3(a)に示す電源ボタン31は、デジタルカメラ1の電源をオン、オフするためのボタンである。デジタルカメラ1は、電源ボタン31が押下される毎に、電源をオン、オフする。
【0042】
シャッタボタン32は、撮影を指示するためのボタンである。デジタルカメラ1は、シャッタボタン32が押下されると撮影を開始する。静止画撮影の場合、デジタルカメラ1は、電源がオンしている間、シャッタボタン32が押下される毎に静止画撮影を行う。また、動画撮影の場合、デジタルカメラ1は、電源がオンしている間、シャッタボタン32が押下される毎に、動画撮影の開始、動画撮影の停止を繰り返す。
【0043】
図3(a)、(b)に示すレンズ33は、ユーザ3、ゴルフクラブ4、ボール5の像を、内蔵する撮像素子(図示せず)に結像させるためのものである。デジタルカメラ1は、ユーザ3を撮影し、撮像素子は、映像データImage1を生成する。
【0044】
図3(b)に示すマイク34は、ゴルフクラブ4がボール5に衝撃を与えたときに発する打撃音、ユーザ3が発話したときの音声を取得して音声データSound1を生成するものである。
【0045】
マイク34は、打撃音の音の大きさを示すデータとして、音の大きさ(単位;sone)、音圧(単位;μpa)、音圧レベル(単位;dB)のいずれかを取得可能なものである。
【0046】
LEDランプ35は、ユーザ3の音声を入力する場合に、ユーザ3に音声の入力が可能であることを示すために点灯するものである。LEDランプ35は、インパクト点を検出してから予め設定された時間経過後、予め設定された時間だけ、CPU21からLED点灯制御信号が供給されて点灯する。フラッシュ36は、ユーザ3等を照明するためのものである。
【0047】
図3(c)に示す動画撮影ボタン37は、動画撮影を選択するためのボタンである。デジタルカメラ1は、動画撮影ボタン37が押下されると動画撮影を選択する。
【0048】
静止画撮影ボタン38は、静止画撮影を選択するためのボタンである。静止画撮影の場合、デジタルカメラ1は、静止画撮影ボタン38が押下されると、静止画撮影を選択する。
【0049】
再生ボタン39は、撮影によって得られた動画、静止画の再生を指示するためのボタンである。
【0050】
液晶モニタ40は、静止画、連続動画、ダイジェスト動画、メニューを表示するものである。このメニューは、デジタルカメラ1の機能を設定するためのものであり、メニューボタン41は、このメニューを表示するためのボタンである。
【0051】
コントロール部42は、液晶モニタ40に表示された静止画、連続動画、ダイジェスト動画を選択するとともに、デジタルカメラ1の機能を選択、設定するための操作部であり、アップキー42Uと、ダウンキー42Dと、左キー42Lと、右キー42Rと、セットキー42Sと、からなる。
【0052】
アップキー42U、ダウンキー42D、左キー42L、右キー42Rは、それぞれ、選択する画像、選択するメニューの項目を上下左右に移動させるためのボタンである。
セットキー42Sは、メニューにおいて選択された項目を確定させるためのキーである。
【0053】
動画撮影ボタン37が押下されてメニューボタン41が押下されると、デジタルカメラ1は、液晶モニタ40に、図4(a)に示すような動画撮影メニューを表示させる。
【0054】
動画撮影メニューは、連続動画撮影モード又はダイジェスト動画撮影モードを選択するためのメニューである。連続動画撮影モードは、動画撮影を行って連続動画を生成するモードである。
【0055】
また、ダイジェスト動画撮影モードは、動画撮影を行って連続動画を生成するとともに、生成した連続動画に基づいて再生時に複数のダイジェスト動画を再生できるように所定の情報を得るためのモードである。
【0056】
連続動画撮影モード又はダイジェスト動画撮影モードは、動画撮影メニューにおいて、アップキー42U又はダウンキー42Dが操作されることにより、選択される。
【0057】
再生ボタン39が押下されてメニューボタン41が押下されると、デジタルカメラ1は、図4(b)に示すような再生メニューを液晶モニタ40に表示させる。
【0058】
再生メニューは、静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードのいずれかのモードを選択するメニューである。静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、それぞれ、静止画撮影、連続動画撮影モードまたはダイジェスト動画撮影モードで得られる、静止画、連続動画、ダイジェスト動画を再生するモードである。
【0059】
静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、再生メニューにおいて、アップキー42U、ダウンキー42Dが操作されることにより選択される。
【0060】
また、ダイジェスト動画再生モードが選択された場合、右キー42Rが押下されると、デジタルカメラ1は、図4(c)に示すような並べ替えメニューを液晶モニタ40に表示させる。
【0061】
並べ替えメニューは、詳細は後述するように得た複数の各ダイジェスト動画の並べ替え順を選択するためのメニューである。本実施形態1のデジタルカメラ1は、時刻順、音の大きさ順、スイング速度順、飛球方向順の並べ替えが可能なものであり、並べ替えメニューにおいて、これらの並べ替えを示す時刻、音の大きさ、スイング速度、飛球方向を液晶モニタ40に表示させる。
【0062】
これらの並べ替えは、並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが操作されることにより選択される。
【0063】
尚、デジタルカメラ1は、図4(c)に示す並べ替えのうち、時刻順を初期設定(default)とする。
【0064】
並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが押下されて、時刻、音の大きさ、スイング速度、飛球方向のいずれかの並べ替えが選択されてセットキー42Sが押下されると、デジタルカメラ1は、並べ替えを、選択された順に設定する。
【0065】
図1に戻り、操作インタフェース11は、各種ボタン、キーが操作されたときの操作情報を取得するものであり、取得した操作情報をCPU21に供給する。
【0066】
音声認識ROM(Read Only Memory)12は、音声認識用のデータを記憶するメモリである。
【0067】
映像・音声入力部13は、撮像素子が生成した映像データImage1、マイク34が生成した音声データSound1を入力して、ユーザ3の映像、インパクト音を取得するものである。映像・音声入力部13は、連続動画撮影、ダイジェスト動画撮影を行う場合、撮影を開始してから、撮影が終了するまでのすべての映像データImage1、音声データSound1を入力する。
【0068】
エンコーダ14は、映像・音声入力部13が入力した映像データImage1、音声データSound1を、それぞれ、圧縮、符号化し、圧縮、符号化した映像データImage11、音声データSound11を生成するものである。
【0069】
記憶部15は、HDD(Hard Disk Drive)、不揮発性メモリ等によって構成されたものであり、各種データを記憶する。記憶部15は、データとして、エンコーダ14が圧縮、符号化した映像データImage11、音声データSound11、図4(a)〜(c)に示すメニュー表示用のデータを記憶する。また、記憶部15は、データとして、CPU21が実行するプログラムのデータを記憶する。
【0070】
インパクト検出部16は、映像・音声入力部13が取得したインパクト音(音声データSound1またはSound11)に基づいて、ゴルフクラブ4がボール5に衝撃を与えたときの各インパクト点を検出し、このインパクト点のインパクト情報を取得するものである。このインパクト点はインパクト音が発生するタイミングであり、インパクト情報は、ユーザ3のゴルフ練習の成果を比較するための比較情報である。
【0071】
インパクト検出部16は、図5に示すように、低周波除去フィルタ16aと、メモリ16bと、データ出力器16cと、時刻計測部16dと、分離度フィルタ16eと、スイング速度取得部16fと、飛球方向取得部16gと、音声認識部16hと、を備える。
【0072】
インパクト検出部16は、ダイジェスト動画撮影モードが選択された場合、記憶部15から、音声データSound11を読み出す。
【0073】
低周波除去フィルタ16aは、読み出された音声データSound11から、周辺ノイズを除去するためのフィルタであり、図6(a)に示すように、カットオフ周波数fc以下の周波数成分を周辺ノイズとして除去する。
【0074】
これにより、インパクト検出部16は、低周波除去フィルタ16aから出力された図6(b)に示すような音の大きさ(データ)Im_s1を取得する。
【0075】
メモリ16bは、打撃音を判別するため、この音の大きさIm_s1に対して予め設定された閾値S_thを記憶するものである。
【0076】
データ出力器16cは、低周波除去フィルタ16aを通過した音の大きさIm_s1の出力を制御するものである。データ出力器16cは、メモリ16bから閾値S_thを取得し、低周波除去フィルタ16aを通過した音の大きさIm_s1と閾値S_thとを比較する。
【0077】
そして、データ出力器16cは、比較の結果、音の大きさIm_s1が閾値S_th以上となったとき、このデータIm_sを出力し、インパクト検出部16は、データ出力器16cが音の大きさIm_s1を出力したとき、このタイミングをインパクト点と判別する。
【0078】
時刻計測部16dは、時刻を計測するものである。時刻計測部16dは、インパクト点の時刻情報Im_tを取得する。
【0079】
分離度フィルタ16eは、映像データImage11から、ゴルフクラブ4、ボール5の画像を分離するフィルタである。分離度フィルタ16eは、狭い範囲の濃淡値の分布が二重の環形にどの程度近いかを測ることにより映像データImage11から特定の画像を分離するフィルタである。
【0080】
この分離度フィルタ16eは、出力値が明るさに依存しないため、明暗の差が少ない不明瞭な特徴点に対しても安定な抽出が可能であるという特徴を有している。
【0081】
スイング速度取得部16fは、分離度フィルタ16eが分離したゴルフクラブ4のスイング動作時のスイング速度Im_vを取得するものである。例えば、図7に示すようなゴルフクラブ4の画像4−1,4−2,4−3が得られた場合、スイング速度取得部16fは、この画像4−1〜4−3のヘッドの距離と撮影間隔とに基づいてゴルフクラブ4のスイング速度Im_vを取得する。
【0082】
なお、スイング速度取得部16fは、時刻計測部16dにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎にスイング速度Im_vを取得する。
【0083】
飛球方向取得部16gは、分離度フィルタ16eが分離したボール5の画像から、ボール5の飛球方向を示す飛球方向Im_cを取得するものである。飛球方向取得部16gは、飛球方向Im_cをd1〜d8に分類する。
【0084】
例えば、図8に示すようなボール5の画像5−1,5−2が得られた場合、飛球方向取得部16gは、ボール5の飛球方向Im_cを、最も近い飛球方向d2に分類する。
【0085】
なお、飛球方向取得部16gは、時刻計測部16dにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎に飛球方向Im_cを取得する。
【0086】
音声認識部16hは、ユーザ3が発話した音声を認識して認識した結果の音声認識データIm_s2を出力するものである。音声認識部16hは、記憶部15から読み出した音声データSound11と音声認識ROM12に記憶された音声認識用のデータとを比較して、ユーザ3が発話した音声を認識する。
【0087】
インパクト検出部16は、これらの音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト点毎に分類してインパクト情報としてインパクト情報格納部17に格納する。
【0088】
インパクト情報格納部17は、上述したようにして得たインパクト情報を格納するものである。インパクト情報格納部17は、供給されたインパクト情報を、図9に示すように、インパクト点毎に格納する。
【0089】
尚、図9に示す並べ替え指定欄は、並べ替えに用いるインパクト情報を指定するための欄である。インパクト情報が指定されなければ、図中、○印で示すように、並べ替えに用いるインパクト情報を指定するデータは、初期設定の時刻情報Im_tの並べ替え指定欄に格納される。
【0090】
デコーダ18は、供給された映像データImage11、音声データSound11、メニュー表示用のデータを伸長、解読(デコード)するためのものである。
【0091】
静止画再生モードが選択された場合、連続動画再生モードが選択された場合、デコーダ18には、記憶部15から、それぞれ、静止画の映像データImage11、連続動画の映像データImage11、音声データSound11が供給される。
【0092】
また、ダイジェスト動画再生モードが選択された場合、デコーダ18には、記憶部15から、インパクト情報格納部17に格納されたインパクト情報に基づいて連続動画の映像データImage11、音声データSound11から所定の映像期間または音声期間として選択された複数のダイジェスト動画の映像データImage11、音声データSound11が供給される。
【0093】
また、メニューボタン41が押下され、コントロール部42の各キーが押下されたときは、図4(a)〜(c)に示すようなメニューの映像データImage11が供給される。
【0094】
デコーダ18は、記憶部15から供給された映像データImage11、音声データSound11を伸長、解読して映像データImage1、音声データSound1を生成し、この映像データImage1、音声データSound1を、それぞれ、表示部19、スピーカ20に供給する。
【0095】
表示部19は、図3(c)に示す液晶モニタ40を備えたものであり、CPU21の制御の下、デコーダ18から供給された映像データImage1に基づいて、静止画、連続動画、複数のダイジェスト動画、メニューを液晶モニタ40に表示する。
【0096】
スピーカ20は、CPU21の制御の下、デコーダ18から供給された音声データSound1に基づいて、音声を発するものである。
【0097】
CPU(Central Processing Unit)21は、操作インタフェース11から供給された操作情報に基づいて、デジタルカメラ1全体を制御するものである。
【0098】
CPU21は、操作インタフェース11から、各種ボタン、各キーが押下された旨の情報が供給されると、供給された操作情報に基づいて各部を制御する。
【0099】
具体的に、CPU21は、撮影前、あるいは撮影終了後に、図4(c)に示す並べ替えメニューにおいて、並べ替えに用いるインパクト情報が選択された場合、操作インタフェース11から供給された操作情報に基づいて、このインパクト情報を判別する。
【0100】
そして、CPU21は、図9に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。
【0101】
CPU21は、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給されると、映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御する。
【0102】
動画撮影の場合、CPU21は、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給される毎に、映像データImage1、音声データSound1の入力、入力の停止を行うように映像・音声入力部13を制御する。
【0103】
この場合、CPU21は、連続動画撮影モードが選択されたときだけでなく、ダイジェスト動画撮影モードが選択されたときでも、インパクト点前の動画も含めてダイジェスト動画を生成する。このため、CPU21は、すべての映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御する。
【0104】
そして、CPU21は、映像・音声入力部13が入力した映像データImage1、音声データSound1を圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ14を制御し、生成した映像データImage11、音声データSound11を記憶部15に記憶する。
【0105】
CPU21は、操作インタフェース11から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、インパクト点を検出するようにインパクト検出部16を制御する。
【0106】
CPU21は、インパクト検出部16が各インパクト点を検出すると、インパクト点毎に、当該インパクト点での画像を含むように、インパクト点前後の予め設定された時間分のダイジェスト動画を、記憶部15が記憶する映像データImage11と音声データSound11とに基づいて生成する。CPU21は、インパクト点毎に生成することで得た複数のダイジェスト動画としての映像データImage11と音声データSound11とを記憶部15に記憶する。
【0107】
ユーザ3が発話した音声を認識する場合、CPU21は、LEDランプ35にLED点灯制御信号を供給して、LEDランプ35を点灯する。
【0108】
そして、CPU21は、LED点灯制御信号を供給してから予め設定された点灯時間経過後に、このLED点灯制御信号の供給を停止して、LEDランプ35を消灯する。
【0109】
CPU21は、LED点灯制御信号を供給している間、マイク34が生成した音声データSound1を入力するように映像・音声入力部13を制御する。CPU21は、ユーザ3が発話した音声を認識するようにインパクト検出部16を制御する。
【0110】
CPU21は、操作インタフェース11から、静止画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、記憶部15から静止画の映像データImage11を読み出してデコーダ18に供給する。
【0111】
CPU21は、操作インタフェース11から、連続動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、記憶部15から連続動画の映像データImage11、音声データSound11を読み出してデコーダ18に供給する。
【0112】
CPU21は、操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、各インパクト点に対応するダイジェスト動画を順次再生する。
【0113】
なお、CPU21は、ダイジェスト動画を生成および再生するため、インパクト情報格納部17から各インパクト点の時刻情報Imt_tを読み出す。CPU21は、読み出した各時刻情報Imt_tに対応するように、インパクト点を含み、その前後の予め設定された時間の映像データImage11、音声データSound11を記憶部15から読み出す。この映像データImage11、音声データSound11がダイジェスト動画用のデータであり、CPU21は、このようにして各インパクト点に対応するダイジェスト動画を生成する。
【0114】
また、CPU21は、生成したダイジェスト動画の並べ替えを行う。CPU21は、並べ替えを行うため、インパクト情報格納部17を参照し、図9に示す並べ替え指定欄に格納されたデータに基づいて並べ替えに用いるインパクト情報を判別する。CPU21は、記憶部15から読み出した映像データImage11、音声データSound11を、判別したインパクト情報に基づいて整列させる。
【0115】
CPU21は、整列させた映像データImage11(整列された複数のダイジェスト動画Image11)、音声データSound11をデコーダ18に供給する。CPU21は、このようにして、生成した複数のダイジェスト画像を、整列させて液晶モニタ40に表示させる。
【0116】
次に実施形態1に係るデジタルカメラ1の動作を説明する。
デジタルカメラ1は、電源ボタン31が押下されると電源をオンする。
【0117】
デジタルカメラ1は、再生ボタン39が押下され、メニューボタン41が押下されると、図4(b)に示す再生メニューを液晶モニタ40に表示させ、ダイジェスト動画再生モードが選択されると、図4(c)に示す並べ替えメニューを液晶モニタ40に表示させる。
【0118】
この並べ替えメニューにおいて、それぞれ、音の大きさ、スイング速度、飛球方向が選択され、右キー42Rが押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、複数のダイジェスト画像の並べ替えに用いるインパクト情報を判別する。
【0119】
CPU21は、このインパクト情報を判別すると、図9に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。
【0120】
また、CPU21は、図4(a)に示す動画撮影メニューにおいて、操作インタフェース11から、連続動画撮影モード又はダイジェスト動画撮影モードが選択され、シャッタボタン32が押下された旨の操作情報が供給されると、記憶部15から、撮影処理のプログラムデータを読み出し、図10に示すフローチャートに従って、この処理を実行する。
【0121】
つまり、CPU21は、一回目のシャッタボタン32が押下された旨の操作情報が供給されると、動画撮影を開始する(ステップS11)。
そして、CPU21は、操作インタフェース11から供給されたシャッタボタン32の操作情報に基づいて、動画撮影継続か否かを判定する(ステップS12)。
【0122】
再度シャッタボタン32が押下された旨の操作情報が供給されなかった場合、CPU21は、動画撮影の継続と判定する(ステップS12;Yes)。この場合、CPU21は、映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御し、圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ14を制御する(ステップS13)。
【0123】
CPU21は、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶し(ステップS14)、再度、動画撮影継続か否かを判定する(ステップS12)。
【0124】
再度シャッタボタン32が押下された旨の操作情報が供給された場合、CPU21は、動画撮影の終了が指示されたと判定する(ステップS12;No)。この場合、CPU21は、映像データImage1、音声データSound1の入力を停止するように映像・音声入力部13を制御するとともに、操作インタフェース11から供給された操作情報に基づいて、インパクト点を検出するか否かを判定する(ステップS15)。
【0125】
動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていなかった場合、操作インタフェース11は、その旨の操作情報をCPU21に供給し、CPU21は、インパクト点を検出しないと判定する(ステップS15;No)。この場合、CPU21は、この撮影処理を終了させる。
【0126】
動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていた場合、操作インタフェース11は、その旨の操作情報をCPU21に供給し、CPU21は、インパクト点を検出すると判定する(ステップS15;Yes)。そして、CPU21は、インパクト点を検出するようにインパクト検出部16を制御する。
【0127】
インパクト検出部16は、記憶部15から、映像データImage11、音声データSound11を読み出して、上述したようにインパクト点を検出し、音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト情報(比較情報)としてインパクト情報格納部17に格納する(ステップS16)。そして、CPU21は、この撮影処理を終了させる。
【0128】
尚、再々度シャッタボタン32が押下された旨の操作情報が供給された場合、CPU21は、再度、撮影処理を実行する。
【0129】
次に、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、記憶部15から、再生処理(1)のプログラムデータを読み出して、図11に示すフローチャートに従い、この処理を実行する。
【0130】
つまり、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画を生成する(ステップS21)。
【0131】
そして、CPU21は、インパクト情報格納部17を参照し、並べ替えメニューにおいて並べ替え指定欄に格納されたデータに基づいて、並べ替えが音の大きさ順か否かを判定する(ステップS22)。
【0132】
並べ替えが音の大きさ順と判定した場合(ステップS22;Yes)。CPU21は、各インパクト点の音の大きさIm_s1を参照し、各インパクト点に対応するダイジェスト動画を音の大きさIm_s1順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS23)。
【0133】
並べ替えが音の大きさ順ではないと判定した場合(ステップS22;No)、CPU21は、並べ替えがスイング速度順か否かを判定する(ステップS24)。
【0134】
並べ替えがスイング速度順と判定した場合(ステップS24;Yes)、CPU21は、各インパクト点のスイング速度Im_vを参照し、各インパクト点のダイジェスト動画をスイング速度Im_v順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS25)。
【0135】
並べ替えがスイング速度順ではないと判定した場合(ステップS24;No)、CPU21は、並べ替えが飛球方向順か否かを判定する(ステップS26)。
【0136】
並べ替えが飛球方向順と判定した場合(ステップS26;Yes)、CPU21は、各インパクト点の飛球方向Im_cを参照し、各インパクト点のダイジェスト動画を飛球方向Im_c順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS27)。
【0137】
並べ替えが飛球方向順ではないと判定した場合(ステップS26;No)、CPU21は、並べ替えが初期設定の時刻順と判定する。この場合、CPU21は、各インパクト点の時刻情報Im_tを参照し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS28)。
【0138】
なお、デコーダ18に供給された映像データImage11、音声データSound11は、表示部19やスピーカ20から時系列的に順次顕在化されて出力される。
【0139】
そして、CPU21は、インパクト点に対応するダイジェスト動画の全て再生が終了すると、この再生処理(1)を終了させる。
【0140】
次に、このデジタルカメラ1の動作を具体的な活用例に基づいて説明する。
ユーザ3は、ダイジェスト動画撮影モードでの撮影中にボール5を4球打つものとする。そして、CPU21は撮影処理を実行し、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶する。
【0141】
ここでは、図12(a)に示すように、時刻順にA,B,C,Dの4つのタイミングでインパクト音が発生したものとする。つまり、ボール5を打つ毎に(スイングを行う毎に)ボール5を打つ瞬間にインパクト音が発生したものとする。
【0142】
インパクト検出部16は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点(A,B,C,D)を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部17に格納する。
【0143】
尚、図12(a)、図12(b)における各インパクト点に対応するダイジェスト動画上に示す数値は、音の大きさ順を示し、「1」は音の大きさが最も大きく、「4」は、音の大きさが最も小さいことを示す。
【0144】
また、ユーザ3が並べ替えメニューにおいてダイジェスト動画の並べ替えを指定していなければ、並べ替えを指定するデータは、図9に示すように、並べ替え指定欄のうちの初期設定の時刻情報Im_tの欄に格納されており、並べ替えは時刻順となっている。
【0145】
そして、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、CPU21は、インパクト情報格納部17を参照して、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11(スイングを4回行ったシーン、つまり、ボール5を4回打ったシーン)やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画(スイング毎、つまり、ボール5を打つシーン毎に分離されたダイジェスト動画)を生成する。また、インパクト情報格納部17を参照して、並べ替えに用いるインパクト情報は、時刻情報Im_tであると判別する。
【0146】
そして、表示部19は、図12(a)に示すように、CPU21の制御(ステップS28の処理)により、ダイジェスト動画をインパクト点A,B,C,Dの順に整列させて、液晶モニタ40に表示する。
【0147】
つまり、インパクト点A,B,C,Dに対応するそれぞれのダイジェスト動画を液晶モニタ40に、インパクト点Aに対応するダイジェスト動画、インパクト点Bに対応するダイジェスト動画、インパクト点Cに対応するダイジェスト動画、インパクト点Dに対応するダイジェスト動画の順で、動画再生表示する。
【0148】
一方、ユーザ3が、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードを選択し、図4(c)に示す並べ替えメニューにおいて音の大きさを選択していた場合、CPU21は、インパクト情報格納部17の並べ替え指定欄のうち、音の大きさIm_s1の欄に、並べ替えを指定するデータを格納している。
【0149】
このようなときに、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、CPU21は、インパクト情報格納部17を参照して、並べ替えに用いるインパクト情報は、音の大きさIm_s1であると判別する。
【0150】
そして、表示部19は、図12(b)に示すように、CPU21の制御(ステップS23の処理)により、ダイジェスト動画をインパクト点B,D,C,Aの順に整列させて、液晶モニタ40に表示する。
【0151】
つまり、インパクト点A,B,C,Dに対応するそれぞれのダイジェスト動画を液晶モニタ40に、インパクト点Bに対応するダイジェスト動画、インパクト点Dに対応するダイジェスト動画、インパクト点Cに対応するダイジェスト動画、インパクト点Aに対応するダイジェスト動画の順で、動画再生表示する。
【0152】
以上説明したように、本実施形態1によれば、インパクト検出部16は、各インパクト点を検出して、インパクト情報をインパクト情報格納部17に格納する。CPU21は、並べ替えが指定されると、インパクト情報格納部17に格納されたインパクト情報に基づいて、生成した複数のダイジェスト動画を並べ替え、整列させて液晶モニタ40に表示するようにした。
【0153】
従って、練習した中でスイングの部分のみを所望の順番で再生することができるので、ユーザ3に、ゴルフスイングの良否を分かり易く確認させることができ、ユーザ3は、ゴルフ練習の成果を容易に、しかも細かく解析することができる。
【0154】
(実施形態2)
実施形態2に係るデジタルカメラは、ユーザのフォームと上級者のフォームとを比較し、ユーザのフォームを採点して、そのブレ量を表示するようにしたものである。
【0155】
実施形態2のデジタルカメラ1は、図13に示すように、図1に示した実施形態1の構成に加え、参照ブレ情報格納部22と採点部23とを備える。なお、本実施形態2では、実施形態1と同一の構成については、同一の符号を用い、その構成や動作についての詳細な説明は省略する。
【0156】
参照ブレ情報格納部22は、ROM等からなり、ユーザ3のフォームを採点するためのフォームの参照データを格納するものである。
【0157】
このような参照データとして、参照ブレ情報格納部22は、例えば、図14(a)に示すようにスイングしている上級者6の総ブレ量と局所ブレ量とを格納する。この上級者6の総ブレ量と局所ブレ量とは、ユーザ3の目標となる目標ブレ量を示す。
【0158】
実施形態2では、ブレ量を、複数回のスイングを撮影した映像において、各スイングのタイミングと各画素とを対応させて得られた画素値の分散値の和とする。
【0159】
総ブレ量は、図14(a)に示すような、あるタイミングから所定時間前または所定時間後の画像を1つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間ですべての画素を対象として比較したときのブレ量である。
【0160】
また、局所ブレ量は、図14(a)に示すような、あるタイミングから所定時間前または所定時間後の画像を1つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間で、例えば、図14(b)に示すように各フレーム画像をブロックblk1〜blk8に分割し、各ブロックblk1〜blk8毎に、それぞれの画素を対象として比較したときのブレ量である。
【0161】
採点部23は、ユーザ3のフォームのブレを示す合成画像を生成して、上級者6のフォームのブレとユーザ3のフォームのブレとに基づいてユーザ3のフォームに対しての採点を行うものであり、CPU21からの通知を受けて処理を行う。
【0162】
採点部23は、インパクト情報格納部17に格納されたインパクト情報のうちの時刻情報Im_tを参照し、記憶部15に記憶されている映像データImage11に基づいて複数のダイジェスト動画を生成する。
【0163】
採点部23は、各ダイジェスト動画におけるインパクト点を基準にして各ダイジェスト動画を合成することで、合成画像を生成する。
【0164】
図15は、この合成画像の生成を示す図である。各ダイジェスト動画におけるインパクト点を、それぞれ、第1〜N(N;自然数)インパクト点とする。そして、第1〜Nインパクト点のそれぞれの画像1−1〜1−4,2−1〜2−4,N−1〜N−4は、第1〜Nインパクト点に対応するそれぞれのダイジェスト動画における各フレーム画像を示す。
【0165】
また、各フレーム画像1−1〜N−1,1−2〜N−2,1−3〜N−3,1−4〜N−4は、それぞれ、第1〜Nインパクト点を基準とし、そこから所定時間前または所定時間後の同じタイミングでのフレーム画像を示す。
【0166】
例えば、フレーム画像1−1が第1インパクト点から0.1秒前の画像であれば、フレーム画像2−1・・・N−1も、それぞれ、第2〜Nインパクト点から、同じ0.1秒前の画像を示す。
【0167】
採点部23は、それぞれ、各フレーム画像1−1〜N−1,1−2〜N−2,1−3〜N−3,1−4〜N−4を合成する。つまり、採点部23は、各ダイジェスト動画をフレーム毎に合成してダイジェスト動画の合成画像を生成する。この合成画像は、インパクト点を基準としたユーザ3のフォームスピードのバラツキを画像面内でのブレとして示している。
【0168】
採点部23は、生成した合成画像の映像データImage11をデコーダ18に供給する。
【0169】
次に、採点部23は、各合成画像におけるユーザ3のフォームに対して採点を行う。
【0170】
採点部23は、ユーザ3のフォームを採点するため、総ブレ量による採点方法又は局所ブレ量による採点方法を用いる。
【0171】
総ブレ量による採点方法の場合、採点部23は、合成画像に用いたダイジェスト動画をフレーム毎に比較することにより、ユーザ3の総ブレ量を計算する。
【0172】
上級者6のフォームは、複数回スイングを行っても各スイング間のブレ量は小さい(フォームスピードのバラツキは小さい)。これに対して、初級者のブレ量は大きく、ゴルフ練習の成果が上がるに従って、ブレ量は小さくなる。
【0173】
このブレ量に基づいてユーザ3のフォームの採点を行うことができる。採点部23は、参照ブレ情報格納部22に予め格納されている上級者6の総ブレ量を参照し、計算したユーザ3の総ブレ量と上級者6の総ブレ量との差δ1を取得する。採点部23は、取得した差δ1と予め設定されたブレ量閾値とを比較する。
【0174】
ユーザ3のフォームに対する採点を、例えば、優、良、可、不可のいずれかとするため、δ_th1,δ_th2,δ_th3(δ_th11<δ_th2<δ_th3)の3つのブレ量閾値が設定される。採点部23は、メモリ(図示せず)を備え、これらのブレ量閾値δ_th1,δ_th2,δ_th3を予めメモリに記憶する。
【0175】
δ_th3<δ1の場合、採点部23は、ユーザ3のフォームは不可と判定する。δ_th2<δ1≦δ_th3の場合、採点部23は、ユーザ3のフォームは可と判定する。δ_th1<δ1≦δ_th2の場合、採点部23は、ユーザ3のフォームは良と判定する。δ1≦δ_th1の場合、採点部23は、ユーザ3のフォームは優と判定する。
【0176】
局所ブレ量による採点方法の場合、採点部23は、合成画像の各ブロックblk1〜blk8毎に、ユーザ3の局所ブレ量を求める。採点部23は、参照ブレ情報格納部22に格納された上級者6の各ブロックblk1〜blk8毎の局所ブレ量を参照し、求めたユーザ3の局所ブレ量と上級者6の局所ブレ量との差δ2を求める。採点部23は、求めた差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。
【0177】
局所ブレ量による採点方法の場合、採点部23は、ブロックblk1〜blk8毎に、差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。
【0178】
採点部23は、ブロックblk1〜blk8毎に評価結果を示すため、ブロックblk1〜blk8毎に彩色を施したり、模様を付したりして合成画像に画像処理を施し、さらに、差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3との比較結果に基づいてこの彩色、模様を変える。
【0179】
採点部23は、総ブレ量による採点方法又は局所ブレ量による採点方法に従ってユーザ3のフォームの採点を行うと、この採点結果のデータをデコーダ18に供給する。
【0180】
総ブレ量による採点法、局所ブレ量による採点法の選択を可能とするため、記憶部15は、図16(a)に示すような選択メニュー、図16(b)に示すような採点方法選択メニューの画像データを記憶する。
【0181】
選択メニューは、並べ替え又は採点方法を選択するメニューであり、採点方法選択メニューは、総ブレ量による採点法、局所ブレ量による採点法のいずれかを選択するためのメニューである。
【0182】
実施形態2の場合、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されると、操作インタフェース11は、この操作情報をCPU21に供給し、CPU21は、この操作情報に基づいて記憶部15から、選択メニューの画像データをデコーダ18に供給する。このようにして、CPU21は、選択メニューを液晶モニタ40に表示させる。
【0183】
この選択メニューにおいて、アップキー42U、ダウンキー42Dが操作されて採点方法が選択され、右キー42Rが押下されると、操作インタフェース11は、この操作情報をCPU21に供給する。
【0184】
この操作情報が供給されると、CPU21は、記憶部15から、採点方法選択メニューの画像データを読み出してデコーダ18に供給する。このようにして、CPU21は、図16(b)に示すような採点方法選択メニューを液晶モニタ40に表示させる。なお、本実施形態2では、図16(a)に示す選択メニューで、並べ替えが選択されると、図4(c)に示した並べ替えメニューに移行することが可能となっている。
【0185】
総ブレ量による採点方法又は局所ブレ量による採点方法が選択された場合、操作インタフェース11は、採点方法を選択した操作情報をCPU21に供給する。
【0186】
CPU21は、操作インタフェース11から供給された操作情報に基づいて、選択された採点方法を判別し、判別した採点方法を採点部23に通知する。
【0187】
また、CPU21は、操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、この操作情報を採点部23に通知する。
【0188】
尚、記憶部15は、図17に示すような指示枠7の画像データを記憶している。この指示枠7は、撮影時に、ユーザ3の姿がこの指示枠7に入るようにデジタルカメラ1の位置、向きを指定する位置決めに用いるものである。
【0189】
CPU21は、動画撮影が選択された場合、撮影時にこの指示枠7の画像データをデコーダ18に供給し、この指示枠7を液晶モニタ40に表示させる。
【0190】
次に実施形態2に係るデジタルカメラ1の動作を説明する。
デジタルカメラ1は、電源ボタン31が押下されると電源をオンする。
CPU21は、操作インタフェース11から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、図17に示す指示枠7の画像データをデコーダ18に供給し、液晶モニタ40に指示枠7を表示させる。
【0191】
このとき、ユーザ3は、ユーザ3自身の姿がこの指示枠7に収まるようにデジタルカメラ1の位置決めを行う。そして、ユーザ3自身の姿がこの指示枠7に収まるようにデジタルカメラ1の位置決めが行われ、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給されると、CPU21は、図10に示すフローチャートに従って、実施形態1と同様に、撮影処理を実行する。
【0192】
撮影処理を実行した後、操作インタフェース11から、ダイジェスト動画再生モードが選択され、採点方法が選択された旨の操作情報が供給されると、CPU21は、採点部23に、選択された採点方法を通知する。
【0193】
また、操作インタフェース11から、再生ボタン39が押下された旨の操作情報が供給されると、CPU21は、この操作情報を採点部23に通知する。採点部23は、この通知を受けると、記憶部15から、再生処理(2)のプログラムデータを読み出して、図18に示すフローチャートに従い、この処理を実行する。
【0194】
つまり、操作インタフェース11から、再生ボタン39が押下された旨の操作情報が供給されると、採点部23は、インパクト情報格納部17に格納されたインパクト情報を参照し、記憶部15から、ダイジェスト動画撮影モードで撮影された映像データImage11を読み出して、複数のダイジェスト動画を生成し、上述したように、ダイジェスト動画間で、フレーム毎に画像を合成し、ダイジェスト動画の合成画像を生成する(ステップS31)。
【0195】
採点部23は、CPU21からの通知に基づいて、総ブレ量による採点方法が選択されているか否かを判定する(ステップS32)。
【0196】
総ブレ量による採点方法が選択されていると判定した場合(ステップS32;Yes)、採点部23は、合成画像に用いた各ダイジェスト動画を比較して、フレーム毎にユーザ3の総ブレ量を計算する(ステップS33)。
【0197】
採点部23は、参照ブレ情報格納部22に格納されている上級者6の総ブレ量をフレーム毎に参照して、ユーザ3の総ブレ量とこの上級者6の総ブレ量との差δ1を計算し、計算した差δ1と各総ブレ量閾値δ_th1,δ_th2,δ_th3とを比較することにより、ユーザ3のフォームをフレーム毎に採点する(ステップS34)。
【0198】
採点部23は、生成した合成画像の映像データImage11をデコーダ18に供給する(ステップS35)。
【0199】
採点部23は、採点結果のデータをデコーダ18に供給する(ステップS36)。つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
そして、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理(2)を終了させる。
【0200】
一方、CPU21からの通知に基づいて、局所ブレ量による採点方法が選択されていると判定した場合(ステップS32;No)、採点部23は、ユーザ3のフォームを分割した各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算する(ステップS37)。
【0201】
採点部23は、参照ブレ情報格納部22に格納されている上級者6の各ブロックblk1〜blk8の局所ブレ量をフレーム毎に参照して、ユーザ3の各ブロックblk1〜blk8の局所ブレ量とこの上級者6の局所ブレ量との差δ2を計算し、各ブロックblk1〜blk8毎に対して計算した差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。採点部23は、比較した結果に基づいてユーザ3のフォームの採点をフレーム毎に行う(ステップS38)。
【0202】
採点部23は、採点結果に基づいて合成画像に画像処理を施す(ステップS39)。
採点部23は、合成画像の映像データImage11をデコーダ18に供給する(ステップS35)。
【0203】
採点部23は、採点結果のデータをデコーダ18に供給する(ステップS36)。つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応するブロックblk1〜blk8毎の採点結果を表示中の合成フレーム画像における各ブロックblk1〜blk8と対応付けてそれぞれに表示する。
【0204】
そして、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理(2)を終了させる。
【0205】
次に実施形態2に係るデジタルカメラ1の動作を具体的な活用例に基づいて説明する。
【0206】
ユーザ3は、ダイジェスト動画撮影モードでの撮影中にボール5を、例えば、4球打つものとする。そして、CPU21は撮影処理を実行し、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶する。
【0207】
ここでは、図12(a)に示すように、時刻順にA,B,C,Dの4つのタイミングでインパクト音が発生したものとする。つまり、ボール5を打つ毎に(スイングを行う毎に)ボール5を打つ瞬間にインパクト音が発生したものとする。
【0208】
インパクト検出部16は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点(A,B,C,D)を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部17に格納する。
【0209】
ここで、図16(a)に示したような選択メニューでは、採点方法が選択されているものとする。そして、ユーザにより、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、採点部23は、インパクト情報格納部17を参照して、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11(スイングを4回行ったシーン、つまり、ボール5を4回打ったシーン)やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画(スイング毎、つまり、ボール5を打つシーン毎に分離されたダイジェスト動画)を生成する。
【0210】
採点部23は、各インパクト点(A,B,C,D)を基準として、生成した複数のダイジェスト動画を上述したようにフレーム毎に合成する。
【0211】
つまり、採点部23は、図15に示すように、各インパクト点に対応するダイジェスト動画における各フレーム画像1−1〜4−1,1−2〜4−2,1−3〜4−3,1−4〜4−4を、それぞれ、合成し、図19(a)〜(d)に示すようなフレーム毎の合成画像を生成する(ステップS31の処理)。
【0212】
尚、図19(a)〜(d)のそれぞれの映像の左上又は右上に付した数値は、それぞれ、合成画像のフレーム番号を示す。採点部23は、ダイジェスト動画のフレーム画像毎にこのような合成画像の生成を行う。
【0213】
そして、図16(b)に示したような採点方法選択メニューで総ブレ量による採点方法が選択された場合(ステップS32;Yes)には、採点部23が、生成した合成画像の映像データImage11をデコーダ18に供給すると(ステップS35の処理)、表示部19は、図20に示す合成画像を液晶モニタ40に表示する。
【0214】
また、採点部23は、上述したように総ブレ量を計算し、ユーザ3のフォームを採点した結果の採点結果をデコーダ18に供給し(ステップS33,S34,S36の処理)、表示部19は、この採点結果を液晶モニタ40に表示する。
【0215】
つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
【0216】
例えば、フレーム番号1の合成画像において、ユーザ3の総ブレ量と上級者6の総ブレ量との差δ1を採点部23が計算した結果、δ_th1<δ1≦δ_th2になったものとする。
【0217】
この場合、採点部23は、採点結果を良とし、液晶モニタ40は、図20に示すように、フレーム番号1の合成画像上に1/良(フレーム番号/採点結果)を表示する。
【0218】
また、フレーム番号2の合成画像において、採点部23が差δ1を計算した結果、δ_th2<δ1≦δ_th3になったものとする。この場合、採点部23は、採点結果を可とし、液晶モニタ40は、図20に示すように、フレーム番号2の合成画像上に2/可を表示する。
【0219】
また、フレーム番号3の合成画像において、採点部23が差δ1を計算した結果、δ1≦δ1th1になったものとする。この場合、採点部23は、採点結果を優とし、液晶モニタ40は、図20に示すように、フレーム番号3の合成画像上に3/優を表示する。
【0220】
また、フレーム番号4の合成画像において、採点部23が差δ1を計算した結果、δ_th3<δ1になったものとする。この場合、採点部23は、採点結果を不可とし、液晶モニタ40は、図20に示すように、フレーム番号4の合成画像上に4/不可を表示する。
【0221】
一方、図16(b)に示したような採点方法選択メニューで局所ブレ量による採点方法が選択されていた場合(ステップS32;No)、採点部23は、各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算し、ユーザ3のフォームを採点する(ステップS37,S38の処理)。
【0222】
採点部23は、図21に示すように、ユーザ3の局所ブレ量と上級者6の局所ブレ量との差δ2と、各ブレ量閾値δ_th1,δ_th2,δ_th3と、の比較結果に基づいて、フレーム番号1の合成画像のブロックblk7、フレーム番号2の合成画像のブロックblk6、フレーム番号4の合成画像のブロックblk5,blk7に模様を付す(ステップS39の処理)。
【0223】
採点部23がこの合成画像のデータをデコーダ18に供給すると(ステップS35の処理)、表示部19は、図21に示すように模様を付した合成画像を液晶モニタ40に表示する。
【0224】
また、採点部23が、ユーザ3のフォームを採点した結果の採点結果をデコーダ18に供給すると(ステップS36の処理)、図20と同じように、表示部19は、この採点結果も合わせて液晶モニタ40に表示する。
【0225】
従って、液晶モニタ40には、ユーザ3のフォーム、そのブレ、ユーザ3のフォームの採点結果が表示され、ユーザ3のフォームに欠点がある場合には、その欠点を示す模様がユーザ3のスイングに伴って表示される。
【0226】
以上説明したように、本実施形態2によれば、上級者6の総ブレ量又は局所ブレ量とユーザ3の総ブレ量又は局所ブレ量とを比較して、ユーザ3のフォームの採点を行うようにした。
【0227】
従って、ユーザ3のスイングのブレを即座に目視できるので、容易にスイングの欠点を解析することができる。また、ユーザ3のフォームを数値に基づいて客観的に採点することができる。
【0228】
また、総ブレ量による採点方法を採用した場合、簡易な採点が可能となる。
また、局所ブレ量による採点方法を採用した場合、合成画像に、色彩を施したり、模様を付したりすることにより、ユーザ3に欠点箇所を容易に確認させることができる。
【0229】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態1では、並べ替えを図12(a)、(b)に示すように、各ダイジェスト動画の再生表示を時系列的に順次表示させるものとした。
【0230】
しかし、図22(a)に示すように、インパクト点A,B,C,Dに対応するダイジェスト動画を一括同時再生する構成としてもよい。そしてこのときに、各ダイジェスト動画の再生表示箇所を液晶モニタ40内でインパクト情報に基づいて並べ替えるようにしてもよい。
【0231】
また、所定のダイジェスト動画を比較対象として所定の表示領域に繰り返し再生表示するとともに、他の複数のダイジェスト動画を他の表示領域に時系列的に順次再生表示させる構成としてもよい。そしてこのとき、他の複数のダイジェスト動画の他の表示領域への表示を、インパクト情報に基づいて時系列的に順次再生表示させるようにしてもよい。
【0232】
例えば、図22(b)に示すように、インパクト点Bのダイジェスト動画を比較対象として、インパクト点Bのダイジェスト動画と、インパクト点C,D,Aのそれぞれのダイジェスト動画とを、比較するように、液晶モニタ40内で並べ替えるようにしてもよい。
【0233】
また、上記実施形態1では、並べ替えを、音の大きさ、時刻、スイング速度、飛球方向順のいずれかとした。しかし、並べ替えは、これに限られるものではない。
【0234】
例えば、ユーザ3の運動の成果を評価する評価値を自己採点として、ユーザ3がダイジェスト動画を参照して自己採点の入力を行えるようにして、並べ替えをこの自己採点順としてもよい。
【0235】
詳述すると、デジタルカメラ1は、このような自己採点を行えるようにするため、図23(a)に示すようなダイジェスト動画オプションメニュー、図23(b)に示すような自己採点メニューを液晶モニタ40に表示させる。
【0236】
図23(a)に示すダイジェスト動画オプションメニューは、ダイジェスト動画のオプションを設定するためのメニューであり、自己採点、並べ替えの項目を有する。
【0237】
デジタルカメラ1は、図4(b)に示す再生メニューにおいて、アップキー42U、ダウンキー42Dが操作されてダイジェスト動画再生モードが選択され、右キー42Rが押下されると、このダイジェスト動画オプションメニューを液晶モニタ40に表示させる。
【0238】
このダイジェスト動画オプションメニューにおいて、アップキー42U、ダウンキー42Dが操作されて自己採点が選択され、右キー42Rが押下されると、デジタルカメラ1は、図23(b)に示すような自己採点メニューを液晶モニタ40に表示させる。
【0239】
自己採点メニューは、自己採点の有効、無効を選択するためのメニューであり、自己採点の有効、無効は、自己採点メニューにおいて、アップキー42U、ダウンキー42Dが操作されて有効、無効が選択され、セットキー42Sが押下されることにより選択される。
【0240】
CPU21は、操作インタフェース11から、図23(b)に示す自己採点メニューにおいて自己採点の有効が選択された旨の操作情報が供給された場合、自己採点は有効と判定する。
【0241】
自己採点の有効が選択された場合に自己採点データを入力する方法としては、キーによる入力方法、ゼスチャーを認識する方法、音声による入力方法等がある。キーによる入力方法の場合、デジタルカメラ1は、このキーを備える。
【0242】
ゼスチャーを認識する方法の場合、デジタルカメラ1は、例えば、使用する手袋の色を予め登録しておき、ユーザ3が手袋をした手で数字を描いた場合に、その色の位置の変化パターンに基づいて、描いた数字を認識する。
【0243】
音声による入力方法の場合、音声認識ROM12は、自己採点時に発話される音声を認識するための音声認識用のデータとして、「いち」、「に」、「さん」、「よん」、「ご」、・・・と、「ゆう(優)」、「りょう(良)」、「か(可)」、「ふか(不可)」といった自己採点データを記憶する。
【0244】
自己採点メニューにおいて自己採点の有効が選択されていると、CPU21は、上述したようなダイジェスト動画撮影モードにおける撮影処理の終了後に、記憶部15から、音声データ取得処理のプログラムデータを読み出し、図24に示すフローチャートに従って、この処理を実行する。
【0245】
CPU21は、インパクト情報格納部17を参照し、インパクト情報に基づいてインパクト点の映像データImage11を記憶部15から読み出して、デコーダ18に供給することにより、インパクト点の映像を表示させる(ステップS41)。なお、このとき表示させる映像は、上述したようにCPU21によって生成されるダイジェスト動画であってもよい。
【0246】
CPU21は、インパクト点でのフレーム画像(例えばインパクト音発生タイミングに対応するフレーム画像)を表示してから数秒経過後、LEDランプ35にLED点灯制御信号を供給してLEDランプ35を点灯する(ステップS42)。
【0247】
CPU21は、ユーザ3の発話による音声データSound1を入力して、自己採点の入力を受け付けるように、映像・音声入力部13を制御する(ステップS43)。CPU21は、LEDランプ35にLED点灯制御信号を供給してから、予め設定された時間経過後にLED点灯制御信号の供給を停止してLEDランプ35を消灯する。
【0248】
このとき、ユーザは、表示された映像を確認して自己採点を行い、LEDランプ35の点灯中に、例えば「ゆう(優)」、「りょう(良)」、「か(可)」、「ふか(不可)」のように発話する。
【0249】
エンコーダ14は、入力された音声データSound1を圧縮、符号化して音声データSound11を生成し、CPU21は、エンコーダ14が圧縮、符号化した音声データSound11を記憶部15に記憶する(ステップS44)。
【0250】
CPU21は、インパクト情報格納部17を参照し、インパクト情報に基づいて、他にインパクト点があるか否かを判定する(ステップS45)。
【0251】
他にインパクト点があると判定した場合(ステップS45;Yes)、CPU21は、ステップS41〜S44を実行する。
【0252】
他にインパクト点がないと判定した場合(ステップS45;No)、CPU21は、この音声データ取得処理を終了させる。
【0253】
記憶部15にユーザ3の発話による音声データSound11が記憶されると、CPU21は、取得した音声データから自己採点データを取得するように、インパクト検出部16を制御する。インパクト検出部16は、記憶部15から、この音声データSound11を読み出す。
【0254】
音声認識部16hは、インパクト検出部16が記憶部15から読み出した音声データSound11と音声認識ROM12に記憶された音声認識用のデータとを比較して、ユーザ3が発話した音声を認識し、音声認識データIm_s2を自己採点データとして出力する。以後、この音声認識データIm_s2を自己採点データIm_s2とする。
【0255】
インパクト検出部16は、音声認識部16hが出力した自己採点データIm_s2をインパクト情報としてインパクト情報格納部17に格納する。
【0256】
なお、インパクト情報格納部17は、図25に示すように、インパクト検出部16から供給された自己採点データIm_s2をインパクト点毎に格納する。
【0257】
デジタルカメラ1は、このようにして音声による入力方法により自己採点データを取得する。
【0258】
次に、図23(a)に示すダイジェスト動画オプションメニューにおいて、アップキー42U、ダウンキー42Dが操作されて並べ替えが選択され、右キー42Rが押下されると、デジタルカメラ1は、図23(c)に示すような並べ替えメニューを液晶モニタ40に表示させる。
【0259】
この並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが操作され、並べ替えに用いるインパクト情報として自己採点が選択され、セットキー42Sが押下された旨の操作情報が供給されると、CPU21は、インパクト情報格納部17の並べ替え指定欄のうちの自己採点データの欄に、並べ替えを指定するデータを格納する。
【0260】
操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、CPU21は、記憶部15から、再生処理(3)のプログラムのデータを読み出し、図26に示すフローチャートに従って、この処理を実行する。
【0261】
CPU21は、図11に示す再生処理(1)のステップS21〜27と同様の処理を実行する(ステップS51〜57)。
【0262】
CPU21は、操作インタフェース11から供給された操作情報に基づいて、並べ替えが飛球方向順ではないと判定すると(ステップS56;No)、並べ替えが自己採点順か否かを判定する(ステップS58)。
【0263】
並べ替えが自己採点順と判定した場合(ステップS58;Yes)、CPU21は、各インパクト点の自己採点データIm_s2を参照し、各インパクト点のダイジェスト動画を自己採点データIm_s2順に並べ替え、映像データImage11、音声データSound11をデコーダ18に供給する(ステップS59)。
【0264】
並べ替えが自己採点順ではないと判定した場合(ステップS58;No)、CPU21は、並べ替えが初期設定の時刻順と判定し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、映像データImage11、音声データSound11をデコーダ18に供給する(ステップS60)。そして、CPU21は、この再生処理(3)を終了させる。
【0265】
このように、ユーザ3の自己採点の結果に基づいて、ダイジェスト動画を整列させて表示させることにより、複数のダイジェスト動画をユーザ3が考えている通りに整列させることができる。このため、ユーザ3の思い通りに自己のフォームを解析を行うことができる。
【0266】
また、ユーザ3の発話を音声認識して自己採点を行うようにすることにより、容易に自己採点を行うことができる。
【0267】
上記実施形態1では、スイング速度、飛球方向等の演算を撮影終了後に行うものとした。しかし、これらの演算がCPUの負荷に対して問題にならないような場合には、これらの演算を撮影と平行して行うようにしてもよい。
【0268】
上記実施形態1では、インパクト情報を、時刻情報、音の大きさ、スイング速度、飛球方向として説明した。しかし、インパクト情報はこれに限られるものではなく、例えば、ボール5の打球速度であってもよい。この場合、インパクト検出部16は、ボール5の中心の移動距離を検出し、この移動距離と撮影間隔とに基づいてボール5の打球速度を取得する。
【0269】
上記実施形態1では、検出したインパクト点に対応する全てのダイジェスト動画を表示するものとして説明した。しかし、ダイジェスト動画の表示については、ダイジェスト動画の全てを必ずしも再生しなくてもよい。
【0270】
例えば、インパクト情報を評価し、評価値の高いものだけを表示してもよい。例えば、インパクト情報としてスイングスピードを評価し、スイングスピードの最も速いものだけを表示したりしてもよい。
【0271】
上記実施形態1,2では、付随して音が発生する運動として、ゴルフスイングを例に説明した。しかし、このような運動であれば、ゴルフスイングに限られるものではない。例えば、運動は、ボールを用いた運動として、テニスのサーブ練習、野球の打撃練習、バレーボールのサーブ練習、サッカーのシュート練習のような練習であってもよい。
【0272】
さらに、このような運動は、ボールを用いた運動に限られるものでもなく、例えば、体操競技の跳馬練習、短距離走のスタート練習等であってもよい。
【0273】
体操競技の跳馬練習の場合は、跳馬台に手をついたときに音が発生し、短距離走のスタート練習の場合、スタート合図を行うときに信号音が発生する。このように体操競技の跳馬練習、短距離走のスタート練習であっても、発生した音を基準にダイジェスト動画を生成することができる。
【0274】
上記実施形態1,2では、インパクト検出部16が音の大きさに基づいてインパクト点を検出するようにした。しかし、インパクト検出部16は、例えば、映像に基づいてインパクト点を検出するようにしてもよい。
【0275】
ゴルフ練習を例にして説明すると、インパクト点では、インパクト音を発するとともに、ボール5の球速等も変化する。映像データImage11から、この変化タイミングを検出することにより、インパクト点を検出することができる。
【0276】
上記実施形態1,2では、デジタルカメラ1は、ユーザ3の正面側に配置されるものとして説明した。しかし、デジタルカメラ1の配置位置は、これに限られるものではなく、例えば、ユーザ3の後方に配置されてもよい。
【0277】
この場合、指示枠7は、ユーザ3の後方から撮影するのにふさわしい形状のものとし、また、参照ブレ情報格納部22も、上級者6の後方から撮影したときの上級者6のブレ量等を、参照データとして格納する。
【0278】
上記実施形態2では、総ブレ量が大きい場合でも採点結果を表示するようにした。しかし、総ブレ量が非常に大きく、採点結果を表示するまでもないときは、採点結果の表示を省略してもよい。
【0279】
上記実施形態1,2では、局所ブレ量が大きい場合、そのブロックに色彩を施したり、模様を付したり等の合成画像の加工を行うようにした。しかし、合成画像の画像処理は、これに限られるものではなく、例えば、局所ブレ量が大きいブロックを、点滅、拡大、画面切替間隔を変える等の処理であってもよい。
【0280】
上記実施形態2では、ブレ量を画素値の分散の和とした。しかし、ブレ量は、このような算出方法によるものであるとは限らない。例えば、フレーム画像間の差分を撮った上で画素値の分散値を求めてもよい。また、上級者6、ユーザ3のエッジ画像を生成し、座標を設定してエッジ画像の変位の分散値に基づいて、ブレ量を算出するようにしてもよい。また、分散値の代わりに標準偏差を用いてブレ量を算出してもよい。
【0281】
上記実施形態2では、ダイジェスト動画を合成した合成画像を表示するようにした。しかし、ダイジェスト動画の変わりに、静止画である各フレーム画像の合成画像を並べて表示するようにしてもよい。
【0282】
上記実施形態1では、インパクト検出部16、CPU21を異なる構成として説明した。また、上記実施形態2では、インパクト検出部16、CPU21、採点部23を異なる構成として説明した。しかし、これらを同じ構成としてもよい。そして、これらの構成等をデジタルカメラ1とは別のコンピュータに含まれるものとして、コンピュータとデジタルカメラ1とを接続するようにしてもよい。
【0283】
上記実施形態1,2では、被写体をゴルフ練習者、動作をゴルフ練習として説明した。しかし、被写体、動作は、これに限られるものではなく、例えば、被写体を自動車、動作を衝突テストのような機械のテストとしてもよい。この場合、衝突テスト毎に、衝突音が付随音として発生するため、デジタルカメラ1は、この衝突音に基づいてダイジェスト動画を生成する。このように、上記実施形態1,2は、衝突テストのような機械のテストにも適用可能である。
【0284】
上記実施形態1,2では、ダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画として説明した。しかし、ダイジェスト動画は、インパクト点を含み、このインパクト点を起点とした、その前またはその後の予め設定された時間の動画としてもよい。
【0285】
上記実施形態1,2では、ダイジェスト動画撮影モードとダイジェスト動画再生モードとを備え、ダイジェスト動画撮影モードの実行に伴って連続動画からインパクト情報を生成し、ダイジェスト動画再生モードにおいてこの生成されたインパクト情報に基づいてダイジェスト動画を再生する構成について説明した。
【0286】
しかし、ダイジェスト動画撮影モードを備えることなく、ダイジェスト動画再生モードにおいて、撮影済みの連続動画に基づいてインパクト情報を生成するとともに、これに基づいてダイジェスト動画を再生する構成としてもよい。
【0287】
また、ダイジェスト動画撮影モードにおいてダイジェスト動画の生成までを実行し、ダイジェスト動画再生モードにおいてこの生成されたダイジェスト動画を再生する構成としてもよい。
【0288】
上記実施形態1,2では、ダイジェスト画像表示装置をデジタルカメラ1として説明した。しかし、ダイジェスト画像表示装置は、デジタルカメラに限られるものではなく、例えば、ビデオカメラであってもよい。
【0289】
また、表示部19を大型スクリーンとして、デジタルカメラ1と分離し、さらに、撮影の開始、停止、終了を音声にて行うようにすれば、ユーザ3は、デジタルカメラ1を操作しなくても、音声により、大型スクリーンに映し出された自分のフォームを評価することができる。
【0290】
また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、上記ダイジェスト画像表示装置を、これを含む装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical disk)などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【0291】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【符号の説明】
【0292】
1・・・デジタルカメラ、12・・・音声認識ROM、13・・・映像・音声入力部、14・・・エンコーダ、15・・・記憶部、16・・・インパクト検出部、17・・・インパクト情報格納部、18・・・デコーダ、19・・・表示部、21・・・CPU、22・・・参照ブレ情報格納部、23・・・採点部
【技術分野】
【0001】
本発明は、ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムに関するものである。
【背景技術】
【0002】
従来、スポーツ番組等のダイジェスト(digest)画像(動画)を作成して表示するダイジェスト画像表示装置がある(例えば、特許文献1参照)。
【0003】
このダイジェスト画像表示装置は、テレビジョン放送において、音声信号のレベルを検出して、音声信号のレベルが閾値以上となるハイライトシーンを抽出することにより、ダイジェスト画像を作成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−284704号公報(第2−4頁、図1)
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、例えば、ビデオカメラや、デジタルカメラを用いて、ゴルフ練習の姿勢解析を行うケースが増えつつある。
【0006】
ゴルフ練習では、ゴルフスイングの良否がユーザのフォームに現れてくる。逆に、このフォームを解析してフォームを改善することができれば、ボールも目標とする方向に飛び、打ったボールの飛距離も延びてくる。
【0007】
また、ゴルフ練習の場合、スイングを複数回行うので、ダイジェスト動画を作成することにより、フォームの良否を判別しやすくなる。
【0008】
しかし、ビデオカメラや、デジタルカメラを従来のダイジェスト画像表示装置に接続してダイジェスト画像を作成しようとしても、ハイライトシーンを検出するだけでは、スイングのダイジェスト画像を作成することはできない。このため、従来のダイジェスト画像表示装置では、動作としてフォーム(姿勢)を詳細に解析することは難しい。
【0009】
本発明は、このような従来の問題点に鑑みてなされたもので、動作を容易に解析することが可能なダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
この目的を達成するため、本発明の第1の観点に係るダイジェスト画像表示装置は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記動作を比較するための比較情報を格納する比較情報格納部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、各タイミングの前記比較情報を取得して前記比較情報格納部に格納するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記比較情報格納部を参照し、格納された前記比較情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するダイジェスト画像表示部と、を備えたことを特徴とする。
【0011】
前記動作は、球を用いた運動であり、
前記映像取得部は、球を用いた運動を複数回行う被写体を撮影して前記被写体の映像を取得するようにしてもよい。
【0012】
前記動作は、補助具で前記球に衝撃を加えて飛球させる運動であり、
前記映像取得部は、補助具で前記球に衝撃を加えて飛球させる運動を複数回行う被写体を撮影して前記被写体の映像を取得し、
前記付随音取得部は、前記付随音として、前記補助具で前記球に衝撃を加えたときに発生する音を取得するようにしてもよい。
【0013】
前記付随音取得部は、前記球に衝撃が加えられて発生する衝撃音を前記付随音として取得するものであってもよい。
【0014】
前記付随音取得部は、前記付随音を取得するとともに前記付随音の大きさを取得するものであり、
前記タイミング検出部は、前記付随音取得部が取得した付随音に基づいて、前記付随音の大きさを、各タイミングの比較情報として取得し、取得した前記付随音の大きさを前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記付随音の大きさに基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0015】
前記ダイジェスト画像生成部が生成したダイジェスト画像毎に、前記被写体の動作を評価する評価値の入力を受け付けて、入力された評価値を前記比較情報として前記比較情報格納部に格納する評価値受付部を備え、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記評価値に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0016】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの前記補助具の速度を、各タイミングの比較情報として取得し、取得した前記補助具の速度を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記補助具の速度に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0017】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの球速を、各タイミングの比較情報として取得し、取得した前記球速を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記球速に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0018】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球の飛球方向を、各タイミングの比較情報として取得し、取得した前記飛球方向を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記飛球方向に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0019】
前記タイミング検出部は、時刻を計測する時刻計測部を備え、前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、検出したタイミングで前記時刻計測部が計測した時刻の時刻情報を、各タイミングの前記比較情報として取得し、取得した時刻情報を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記時刻情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
【0020】
本発明の第2の観点に係るダイジェスト画像表示装置は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記ダイジェスト画像生成部が各タイミング毎に生成したダイジェスト画像を、前記タイミング検出部が検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する合成画像生成部と、
前記合成画像生成部の前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するブレ量取得部と、
目標とする目標ブレ量と前記ブレ量取得部が取得した前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する評価部と、
前記合成画像生成部が生成した合成画像と前記評価部が評価した結果の評価結果とを表示するダイジェスト画像表示部と、を備えたことを特徴とする。
【0021】
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を比較して、前記被写体の姿勢の総ブレ量を取得し、
前記評価部は、目標とする目標総ブレ量と前記被写体の総ブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するようにしてもよい。
【0022】
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を、それぞれ複数のブロックに分割し、分割したブロック毎の前記被写体の姿勢の局所ブレ量を取得し、
前記評価部は、前記ブレ量取得部が取得した各局所ブレ量と前記各局所ブレ量の目標とする目標局所ブレ量とをそれぞれ比較し、前記被写体の各局所ブレ量と目標局所ブレ量との差に基づいて前記被写体の動作を前記ブロック毎に評価し、
前記ダイジェスト画像表示部は、前記ダイジェスト画像生成部が生成した前記ダイジェスト画像と前記評価部がブロック毎に評価した評価結果とを表示するようにしてもよい。
【0023】
前記評価部は、前記被写体の各局所ブレ量と目標局所ブレ量との差と、前記差に対して予め設定された閾値とを比較し、前記差が前記閾値以上となったブロックの画像に、評価結果を示すための画像処理を施すようにしてもよい。
【0024】
前記ダイジェスト画像生成部は、前記タイミング検出部が検出した1つのタイミングにおいて1回の動作における複数のダイジェスト画像を生成し、
前記評価部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を並べて合成するようにしてもよい。
【0025】
前記目標ブレ量を記憶する目標ブレ量記憶部を備え、
前記評価部は、前記目標ブレ量記憶部を参照して、前記目標ブレ量を取得するようにしてもよい。
【0026】
本発明の第3の観点に係るダイジェスト画像表示方法は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得するステップと、
取得した前記比較情報を格納するステップと、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
格納された前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示するステップと、を備えたことを特徴とする。
【0027】
本発明の第4の観点に係るダイジェスト画像表示方法は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成するステップと、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するステップと、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するステップと、
前記合成画像と評価した結果の評価結果とを表示するステップと、を備えたことを特徴とする。
【0028】
本発明の第5の観点に係るプログラムは、
コンピュータに、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得する手順、
取得した比較情報を格納する手順、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
格納した前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示する手順、
を実行させるためのものである。
【0029】
本発明の第6の観点に係るプログラムは、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する手順、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得する手順、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する手順、
前記合成画像と評価した結果の評価結果とを表示する手順、
を実行させるためのものである。
【発明の効果】
【0030】
本発明によれば、動作を容易に解析することができる。
【図面の簡単な説明】
【0031】
【図1】本発明の実施形態1に係るデジタルカメラの構成を示すブロック図である。
【図2】ユーザのゴルフ練習の様子を撮影するデジタルカメラを示す図である。
【図3】デジタルカメラの外観を示す図であり、(a)、(b)、(c)は、それぞれ、デジタルカメラの上面、前面、後面を示す。
【図4】図3に示す液晶モニタに表示されるメニューを示す図であり、(a)は、動画撮影メニュー、(b)は再生メニュー、(c)は、並べ替えメニューを示す。
【図5】図1に示すインパクト検出部の構成を示す図である。
【図6】図3に示すインパクト検出部の特性、データ例を示す図であり、(a)は、インパクト検出部内の低周波除去フィルタの特性を示す図であり、(b)は、低周波除去フィルタを通過したデータ例を示す図である。
【図7】ゴルフクラブのスイング速度を求める方法を示す図である。
【図8】飛球方向を求める方法を示す図である。
【図9】インパクト情報格納部が格納するインパクト情報を示す図である。
【図10】デジタルカメラが実行する撮影処理を示すフローチャートである。
【図11】デジタルカメラが実行する再生処理(1)を示すフローチャートである。
【図12】実施形態1に係るデジタルカメラの動作の具体例を示す図である。
【図13】本発明の実施形態2に係るデジタルカメラの構成を示すブロック図である。
【図14】図13に示す参照ブレ情報格納部が格納する参照データに用いられる上級者の例を示す図であり、(a)は、上級者のスイングを示し、(b)は、(a)に示す上級者の映像を8つのブロックに分割した例を示す。
【図15】図13に示す採点部の画像合成処理を示す図である。
【図16】液晶モニタに表示されるメニューを示す図であり、(a)は選択メニュー、(b)は、採点方法選択メニューを示す。
【図17】撮影時、デジタルカメラの位置決め用として、図13に示すCPUが液晶モニタに表示させる指示枠を示す図である。
【図18】実施形態2に係るデジタルカメラが実行する再生処理(2)を示すフローチャートである。
【図19】実施形態2に係るデジタルカメラの動作の具体例として、採点部が生成した合成画像を示すものであり、(a)〜(d)は、それぞれ、例として、4つのフレーム画像を合成した合成画像を示す。
【図20】実施形態2に係るデジタルカメラの動作の具体例として、総ブレ量による採点方法を用いた場合に、表示部が液晶モニタに表示した合成画像と採点結果とを示す図である。
【図21】実施形態2に係るデジタルカメラの動作の具体例として、局所ブレ量による採点方法を用いた場合に、表示部が液晶モニタに表示した合成画像と採点結果とを示す図である。
【図22】実施形態1の並べ替えの応用例(1)を示す図であり、(a)は、1つのダイジェスト動画と他のダイジェスト動画とを比較のため、液晶モニタ内で並べ替える例を示し、(b)は、複数のダイジェスト動画を液晶モニタ内で整列させて並べ替える例を示す。
【図23】実施形態1の並べ替えの応用例(2)として、自己採点を選択するための各メニューを示す図であり、(a)は、ダイジェスト動画オプションメニューを示し、(b)は、自己採点メニューを示し、(c)は、並べ替えメニューを示す。
【図24】応用例(2)のデジタルカメラが実行する音声データ取得処理を示すフローチャートである。
【図25】応用例(2)のインパクト情報格納部が格納するインパクト情報を示す図である。
【図26】応用例(2)のデジタルカメラが実行する再生処理(3)を示すフローチャートである。
【発明を実施するための形態】
【0032】
以下、本発明の実施形態に係るダイジェスト画像表示装置を図面を参照して説明する。尚、本実施形態では、ダイジェスト画像表示装置をデジタルカメラとして説明する。
(実施形態1)
実施形態1に係るデジタルカメラの構成を図1に示す。
実施形態1に係るデジタルカメラ1は、操作インタフェース11と、音声認識ROM12と、映像・音声入力部13と、エンコーダ14と、記憶部15と、インパクト検出部16と、インパクト情報格納部17と、デコーダ18と、表示部19と、スピーカ20と、CPU21と、を備える。
【0033】
本実施形態1では、動作、運動としてゴルフ練習を対象として説明する。ゴルフは、ボールを用いた競技であり、ゴルフでは、補助具としてゴルフクラブを使用し、ゴルフクラブでボールに衝撃を加えてボールを飛球させる。
【0034】
ゴルフ練習では、被写体としてのユーザの動作に付随して、ゴルフクラブでボールに衝撃を加えたときのインパクト音が、動作に付随する付随音として発生する。
【0035】
また、ゴルフ練習では、ユーザが同じようなスイング動作を複数回行い、その都度、インパクト音が発生する。
【0036】
本実施形態1のデジタルカメラ1は、インパクト音が発生するタイミングのこのインパクト点を検出し、検出したインパクト点のインパクト情報に基づいてダイジェスト動画(画像)を生成する。このダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画である。
【0037】
そして、デジタルカメラ1は、インパクト情報に基づいて各ダイジェスト動画を整列させることにより、ユーザの動作、運動としてのゴルフ練習の成果を解析できるようにしたものである。
【0038】
このデジタルカメラ1は、高速連写可能なカメラであり、図2に示すように、三脚2に取り付けられて、画角内に、ゴルフ練習者としてのユーザ3と、ゴルフクラブ4と、ボール5と、が収まるように設置される。そして、デジタルカメラ1は、ユーザ3のゴルフ練習の様子を撮影する。
【0039】
デジタルカメラ1は、図3(a)、(b)に示すように、上面部に、電源ボタン31とシャッタボタン32とを備え、前面部に、レンズ33とマイク34とLEDランプ35とフラッシュ36とを備える。
【0040】
また、デジタルカメラ1は、図3(c)に示すように、後面部に、動画撮影ボタン37と静止画撮影ボタン38と再生ボタン39と液晶モニタ40とメニューボタン41と、コントロール部42とを備える。
【0041】
図3(a)に示す電源ボタン31は、デジタルカメラ1の電源をオン、オフするためのボタンである。デジタルカメラ1は、電源ボタン31が押下される毎に、電源をオン、オフする。
【0042】
シャッタボタン32は、撮影を指示するためのボタンである。デジタルカメラ1は、シャッタボタン32が押下されると撮影を開始する。静止画撮影の場合、デジタルカメラ1は、電源がオンしている間、シャッタボタン32が押下される毎に静止画撮影を行う。また、動画撮影の場合、デジタルカメラ1は、電源がオンしている間、シャッタボタン32が押下される毎に、動画撮影の開始、動画撮影の停止を繰り返す。
【0043】
図3(a)、(b)に示すレンズ33は、ユーザ3、ゴルフクラブ4、ボール5の像を、内蔵する撮像素子(図示せず)に結像させるためのものである。デジタルカメラ1は、ユーザ3を撮影し、撮像素子は、映像データImage1を生成する。
【0044】
図3(b)に示すマイク34は、ゴルフクラブ4がボール5に衝撃を与えたときに発する打撃音、ユーザ3が発話したときの音声を取得して音声データSound1を生成するものである。
【0045】
マイク34は、打撃音の音の大きさを示すデータとして、音の大きさ(単位;sone)、音圧(単位;μpa)、音圧レベル(単位;dB)のいずれかを取得可能なものである。
【0046】
LEDランプ35は、ユーザ3の音声を入力する場合に、ユーザ3に音声の入力が可能であることを示すために点灯するものである。LEDランプ35は、インパクト点を検出してから予め設定された時間経過後、予め設定された時間だけ、CPU21からLED点灯制御信号が供給されて点灯する。フラッシュ36は、ユーザ3等を照明するためのものである。
【0047】
図3(c)に示す動画撮影ボタン37は、動画撮影を選択するためのボタンである。デジタルカメラ1は、動画撮影ボタン37が押下されると動画撮影を選択する。
【0048】
静止画撮影ボタン38は、静止画撮影を選択するためのボタンである。静止画撮影の場合、デジタルカメラ1は、静止画撮影ボタン38が押下されると、静止画撮影を選択する。
【0049】
再生ボタン39は、撮影によって得られた動画、静止画の再生を指示するためのボタンである。
【0050】
液晶モニタ40は、静止画、連続動画、ダイジェスト動画、メニューを表示するものである。このメニューは、デジタルカメラ1の機能を設定するためのものであり、メニューボタン41は、このメニューを表示するためのボタンである。
【0051】
コントロール部42は、液晶モニタ40に表示された静止画、連続動画、ダイジェスト動画を選択するとともに、デジタルカメラ1の機能を選択、設定するための操作部であり、アップキー42Uと、ダウンキー42Dと、左キー42Lと、右キー42Rと、セットキー42Sと、からなる。
【0052】
アップキー42U、ダウンキー42D、左キー42L、右キー42Rは、それぞれ、選択する画像、選択するメニューの項目を上下左右に移動させるためのボタンである。
セットキー42Sは、メニューにおいて選択された項目を確定させるためのキーである。
【0053】
動画撮影ボタン37が押下されてメニューボタン41が押下されると、デジタルカメラ1は、液晶モニタ40に、図4(a)に示すような動画撮影メニューを表示させる。
【0054】
動画撮影メニューは、連続動画撮影モード又はダイジェスト動画撮影モードを選択するためのメニューである。連続動画撮影モードは、動画撮影を行って連続動画を生成するモードである。
【0055】
また、ダイジェスト動画撮影モードは、動画撮影を行って連続動画を生成するとともに、生成した連続動画に基づいて再生時に複数のダイジェスト動画を再生できるように所定の情報を得るためのモードである。
【0056】
連続動画撮影モード又はダイジェスト動画撮影モードは、動画撮影メニューにおいて、アップキー42U又はダウンキー42Dが操作されることにより、選択される。
【0057】
再生ボタン39が押下されてメニューボタン41が押下されると、デジタルカメラ1は、図4(b)に示すような再生メニューを液晶モニタ40に表示させる。
【0058】
再生メニューは、静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードのいずれかのモードを選択するメニューである。静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、それぞれ、静止画撮影、連続動画撮影モードまたはダイジェスト動画撮影モードで得られる、静止画、連続動画、ダイジェスト動画を再生するモードである。
【0059】
静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、再生メニューにおいて、アップキー42U、ダウンキー42Dが操作されることにより選択される。
【0060】
また、ダイジェスト動画再生モードが選択された場合、右キー42Rが押下されると、デジタルカメラ1は、図4(c)に示すような並べ替えメニューを液晶モニタ40に表示させる。
【0061】
並べ替えメニューは、詳細は後述するように得た複数の各ダイジェスト動画の並べ替え順を選択するためのメニューである。本実施形態1のデジタルカメラ1は、時刻順、音の大きさ順、スイング速度順、飛球方向順の並べ替えが可能なものであり、並べ替えメニューにおいて、これらの並べ替えを示す時刻、音の大きさ、スイング速度、飛球方向を液晶モニタ40に表示させる。
【0062】
これらの並べ替えは、並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが操作されることにより選択される。
【0063】
尚、デジタルカメラ1は、図4(c)に示す並べ替えのうち、時刻順を初期設定(default)とする。
【0064】
並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが押下されて、時刻、音の大きさ、スイング速度、飛球方向のいずれかの並べ替えが選択されてセットキー42Sが押下されると、デジタルカメラ1は、並べ替えを、選択された順に設定する。
【0065】
図1に戻り、操作インタフェース11は、各種ボタン、キーが操作されたときの操作情報を取得するものであり、取得した操作情報をCPU21に供給する。
【0066】
音声認識ROM(Read Only Memory)12は、音声認識用のデータを記憶するメモリである。
【0067】
映像・音声入力部13は、撮像素子が生成した映像データImage1、マイク34が生成した音声データSound1を入力して、ユーザ3の映像、インパクト音を取得するものである。映像・音声入力部13は、連続動画撮影、ダイジェスト動画撮影を行う場合、撮影を開始してから、撮影が終了するまでのすべての映像データImage1、音声データSound1を入力する。
【0068】
エンコーダ14は、映像・音声入力部13が入力した映像データImage1、音声データSound1を、それぞれ、圧縮、符号化し、圧縮、符号化した映像データImage11、音声データSound11を生成するものである。
【0069】
記憶部15は、HDD(Hard Disk Drive)、不揮発性メモリ等によって構成されたものであり、各種データを記憶する。記憶部15は、データとして、エンコーダ14が圧縮、符号化した映像データImage11、音声データSound11、図4(a)〜(c)に示すメニュー表示用のデータを記憶する。また、記憶部15は、データとして、CPU21が実行するプログラムのデータを記憶する。
【0070】
インパクト検出部16は、映像・音声入力部13が取得したインパクト音(音声データSound1またはSound11)に基づいて、ゴルフクラブ4がボール5に衝撃を与えたときの各インパクト点を検出し、このインパクト点のインパクト情報を取得するものである。このインパクト点はインパクト音が発生するタイミングであり、インパクト情報は、ユーザ3のゴルフ練習の成果を比較するための比較情報である。
【0071】
インパクト検出部16は、図5に示すように、低周波除去フィルタ16aと、メモリ16bと、データ出力器16cと、時刻計測部16dと、分離度フィルタ16eと、スイング速度取得部16fと、飛球方向取得部16gと、音声認識部16hと、を備える。
【0072】
インパクト検出部16は、ダイジェスト動画撮影モードが選択された場合、記憶部15から、音声データSound11を読み出す。
【0073】
低周波除去フィルタ16aは、読み出された音声データSound11から、周辺ノイズを除去するためのフィルタであり、図6(a)に示すように、カットオフ周波数fc以下の周波数成分を周辺ノイズとして除去する。
【0074】
これにより、インパクト検出部16は、低周波除去フィルタ16aから出力された図6(b)に示すような音の大きさ(データ)Im_s1を取得する。
【0075】
メモリ16bは、打撃音を判別するため、この音の大きさIm_s1に対して予め設定された閾値S_thを記憶するものである。
【0076】
データ出力器16cは、低周波除去フィルタ16aを通過した音の大きさIm_s1の出力を制御するものである。データ出力器16cは、メモリ16bから閾値S_thを取得し、低周波除去フィルタ16aを通過した音の大きさIm_s1と閾値S_thとを比較する。
【0077】
そして、データ出力器16cは、比較の結果、音の大きさIm_s1が閾値S_th以上となったとき、このデータIm_sを出力し、インパクト検出部16は、データ出力器16cが音の大きさIm_s1を出力したとき、このタイミングをインパクト点と判別する。
【0078】
時刻計測部16dは、時刻を計測するものである。時刻計測部16dは、インパクト点の時刻情報Im_tを取得する。
【0079】
分離度フィルタ16eは、映像データImage11から、ゴルフクラブ4、ボール5の画像を分離するフィルタである。分離度フィルタ16eは、狭い範囲の濃淡値の分布が二重の環形にどの程度近いかを測ることにより映像データImage11から特定の画像を分離するフィルタである。
【0080】
この分離度フィルタ16eは、出力値が明るさに依存しないため、明暗の差が少ない不明瞭な特徴点に対しても安定な抽出が可能であるという特徴を有している。
【0081】
スイング速度取得部16fは、分離度フィルタ16eが分離したゴルフクラブ4のスイング動作時のスイング速度Im_vを取得するものである。例えば、図7に示すようなゴルフクラブ4の画像4−1,4−2,4−3が得られた場合、スイング速度取得部16fは、この画像4−1〜4−3のヘッドの距離と撮影間隔とに基づいてゴルフクラブ4のスイング速度Im_vを取得する。
【0082】
なお、スイング速度取得部16fは、時刻計測部16dにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎にスイング速度Im_vを取得する。
【0083】
飛球方向取得部16gは、分離度フィルタ16eが分離したボール5の画像から、ボール5の飛球方向を示す飛球方向Im_cを取得するものである。飛球方向取得部16gは、飛球方向Im_cをd1〜d8に分類する。
【0084】
例えば、図8に示すようなボール5の画像5−1,5−2が得られた場合、飛球方向取得部16gは、ボール5の飛球方向Im_cを、最も近い飛球方向d2に分類する。
【0085】
なお、飛球方向取得部16gは、時刻計測部16dにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎に飛球方向Im_cを取得する。
【0086】
音声認識部16hは、ユーザ3が発話した音声を認識して認識した結果の音声認識データIm_s2を出力するものである。音声認識部16hは、記憶部15から読み出した音声データSound11と音声認識ROM12に記憶された音声認識用のデータとを比較して、ユーザ3が発話した音声を認識する。
【0087】
インパクト検出部16は、これらの音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト点毎に分類してインパクト情報としてインパクト情報格納部17に格納する。
【0088】
インパクト情報格納部17は、上述したようにして得たインパクト情報を格納するものである。インパクト情報格納部17は、供給されたインパクト情報を、図9に示すように、インパクト点毎に格納する。
【0089】
尚、図9に示す並べ替え指定欄は、並べ替えに用いるインパクト情報を指定するための欄である。インパクト情報が指定されなければ、図中、○印で示すように、並べ替えに用いるインパクト情報を指定するデータは、初期設定の時刻情報Im_tの並べ替え指定欄に格納される。
【0090】
デコーダ18は、供給された映像データImage11、音声データSound11、メニュー表示用のデータを伸長、解読(デコード)するためのものである。
【0091】
静止画再生モードが選択された場合、連続動画再生モードが選択された場合、デコーダ18には、記憶部15から、それぞれ、静止画の映像データImage11、連続動画の映像データImage11、音声データSound11が供給される。
【0092】
また、ダイジェスト動画再生モードが選択された場合、デコーダ18には、記憶部15から、インパクト情報格納部17に格納されたインパクト情報に基づいて連続動画の映像データImage11、音声データSound11から所定の映像期間または音声期間として選択された複数のダイジェスト動画の映像データImage11、音声データSound11が供給される。
【0093】
また、メニューボタン41が押下され、コントロール部42の各キーが押下されたときは、図4(a)〜(c)に示すようなメニューの映像データImage11が供給される。
【0094】
デコーダ18は、記憶部15から供給された映像データImage11、音声データSound11を伸長、解読して映像データImage1、音声データSound1を生成し、この映像データImage1、音声データSound1を、それぞれ、表示部19、スピーカ20に供給する。
【0095】
表示部19は、図3(c)に示す液晶モニタ40を備えたものであり、CPU21の制御の下、デコーダ18から供給された映像データImage1に基づいて、静止画、連続動画、複数のダイジェスト動画、メニューを液晶モニタ40に表示する。
【0096】
スピーカ20は、CPU21の制御の下、デコーダ18から供給された音声データSound1に基づいて、音声を発するものである。
【0097】
CPU(Central Processing Unit)21は、操作インタフェース11から供給された操作情報に基づいて、デジタルカメラ1全体を制御するものである。
【0098】
CPU21は、操作インタフェース11から、各種ボタン、各キーが押下された旨の情報が供給されると、供給された操作情報に基づいて各部を制御する。
【0099】
具体的に、CPU21は、撮影前、あるいは撮影終了後に、図4(c)に示す並べ替えメニューにおいて、並べ替えに用いるインパクト情報が選択された場合、操作インタフェース11から供給された操作情報に基づいて、このインパクト情報を判別する。
【0100】
そして、CPU21は、図9に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。
【0101】
CPU21は、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給されると、映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御する。
【0102】
動画撮影の場合、CPU21は、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給される毎に、映像データImage1、音声データSound1の入力、入力の停止を行うように映像・音声入力部13を制御する。
【0103】
この場合、CPU21は、連続動画撮影モードが選択されたときだけでなく、ダイジェスト動画撮影モードが選択されたときでも、インパクト点前の動画も含めてダイジェスト動画を生成する。このため、CPU21は、すべての映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御する。
【0104】
そして、CPU21は、映像・音声入力部13が入力した映像データImage1、音声データSound1を圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ14を制御し、生成した映像データImage11、音声データSound11を記憶部15に記憶する。
【0105】
CPU21は、操作インタフェース11から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、インパクト点を検出するようにインパクト検出部16を制御する。
【0106】
CPU21は、インパクト検出部16が各インパクト点を検出すると、インパクト点毎に、当該インパクト点での画像を含むように、インパクト点前後の予め設定された時間分のダイジェスト動画を、記憶部15が記憶する映像データImage11と音声データSound11とに基づいて生成する。CPU21は、インパクト点毎に生成することで得た複数のダイジェスト動画としての映像データImage11と音声データSound11とを記憶部15に記憶する。
【0107】
ユーザ3が発話した音声を認識する場合、CPU21は、LEDランプ35にLED点灯制御信号を供給して、LEDランプ35を点灯する。
【0108】
そして、CPU21は、LED点灯制御信号を供給してから予め設定された点灯時間経過後に、このLED点灯制御信号の供給を停止して、LEDランプ35を消灯する。
【0109】
CPU21は、LED点灯制御信号を供給している間、マイク34が生成した音声データSound1を入力するように映像・音声入力部13を制御する。CPU21は、ユーザ3が発話した音声を認識するようにインパクト検出部16を制御する。
【0110】
CPU21は、操作インタフェース11から、静止画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、記憶部15から静止画の映像データImage11を読み出してデコーダ18に供給する。
【0111】
CPU21は、操作インタフェース11から、連続動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、記憶部15から連続動画の映像データImage11、音声データSound11を読み出してデコーダ18に供給する。
【0112】
CPU21は、操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、各インパクト点に対応するダイジェスト動画を順次再生する。
【0113】
なお、CPU21は、ダイジェスト動画を生成および再生するため、インパクト情報格納部17から各インパクト点の時刻情報Imt_tを読み出す。CPU21は、読み出した各時刻情報Imt_tに対応するように、インパクト点を含み、その前後の予め設定された時間の映像データImage11、音声データSound11を記憶部15から読み出す。この映像データImage11、音声データSound11がダイジェスト動画用のデータであり、CPU21は、このようにして各インパクト点に対応するダイジェスト動画を生成する。
【0114】
また、CPU21は、生成したダイジェスト動画の並べ替えを行う。CPU21は、並べ替えを行うため、インパクト情報格納部17を参照し、図9に示す並べ替え指定欄に格納されたデータに基づいて並べ替えに用いるインパクト情報を判別する。CPU21は、記憶部15から読み出した映像データImage11、音声データSound11を、判別したインパクト情報に基づいて整列させる。
【0115】
CPU21は、整列させた映像データImage11(整列された複数のダイジェスト動画Image11)、音声データSound11をデコーダ18に供給する。CPU21は、このようにして、生成した複数のダイジェスト画像を、整列させて液晶モニタ40に表示させる。
【0116】
次に実施形態1に係るデジタルカメラ1の動作を説明する。
デジタルカメラ1は、電源ボタン31が押下されると電源をオンする。
【0117】
デジタルカメラ1は、再生ボタン39が押下され、メニューボタン41が押下されると、図4(b)に示す再生メニューを液晶モニタ40に表示させ、ダイジェスト動画再生モードが選択されると、図4(c)に示す並べ替えメニューを液晶モニタ40に表示させる。
【0118】
この並べ替えメニューにおいて、それぞれ、音の大きさ、スイング速度、飛球方向が選択され、右キー42Rが押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、複数のダイジェスト画像の並べ替えに用いるインパクト情報を判別する。
【0119】
CPU21は、このインパクト情報を判別すると、図9に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。
【0120】
また、CPU21は、図4(a)に示す動画撮影メニューにおいて、操作インタフェース11から、連続動画撮影モード又はダイジェスト動画撮影モードが選択され、シャッタボタン32が押下された旨の操作情報が供給されると、記憶部15から、撮影処理のプログラムデータを読み出し、図10に示すフローチャートに従って、この処理を実行する。
【0121】
つまり、CPU21は、一回目のシャッタボタン32が押下された旨の操作情報が供給されると、動画撮影を開始する(ステップS11)。
そして、CPU21は、操作インタフェース11から供給されたシャッタボタン32の操作情報に基づいて、動画撮影継続か否かを判定する(ステップS12)。
【0122】
再度シャッタボタン32が押下された旨の操作情報が供給されなかった場合、CPU21は、動画撮影の継続と判定する(ステップS12;Yes)。この場合、CPU21は、映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御し、圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ14を制御する(ステップS13)。
【0123】
CPU21は、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶し(ステップS14)、再度、動画撮影継続か否かを判定する(ステップS12)。
【0124】
再度シャッタボタン32が押下された旨の操作情報が供給された場合、CPU21は、動画撮影の終了が指示されたと判定する(ステップS12;No)。この場合、CPU21は、映像データImage1、音声データSound1の入力を停止するように映像・音声入力部13を制御するとともに、操作インタフェース11から供給された操作情報に基づいて、インパクト点を検出するか否かを判定する(ステップS15)。
【0125】
動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていなかった場合、操作インタフェース11は、その旨の操作情報をCPU21に供給し、CPU21は、インパクト点を検出しないと判定する(ステップS15;No)。この場合、CPU21は、この撮影処理を終了させる。
【0126】
動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていた場合、操作インタフェース11は、その旨の操作情報をCPU21に供給し、CPU21は、インパクト点を検出すると判定する(ステップS15;Yes)。そして、CPU21は、インパクト点を検出するようにインパクト検出部16を制御する。
【0127】
インパクト検出部16は、記憶部15から、映像データImage11、音声データSound11を読み出して、上述したようにインパクト点を検出し、音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト情報(比較情報)としてインパクト情報格納部17に格納する(ステップS16)。そして、CPU21は、この撮影処理を終了させる。
【0128】
尚、再々度シャッタボタン32が押下された旨の操作情報が供給された場合、CPU21は、再度、撮影処理を実行する。
【0129】
次に、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、記憶部15から、再生処理(1)のプログラムデータを読み出して、図11に示すフローチャートに従い、この処理を実行する。
【0130】
つまり、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画を生成する(ステップS21)。
【0131】
そして、CPU21は、インパクト情報格納部17を参照し、並べ替えメニューにおいて並べ替え指定欄に格納されたデータに基づいて、並べ替えが音の大きさ順か否かを判定する(ステップS22)。
【0132】
並べ替えが音の大きさ順と判定した場合(ステップS22;Yes)。CPU21は、各インパクト点の音の大きさIm_s1を参照し、各インパクト点に対応するダイジェスト動画を音の大きさIm_s1順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS23)。
【0133】
並べ替えが音の大きさ順ではないと判定した場合(ステップS22;No)、CPU21は、並べ替えがスイング速度順か否かを判定する(ステップS24)。
【0134】
並べ替えがスイング速度順と判定した場合(ステップS24;Yes)、CPU21は、各インパクト点のスイング速度Im_vを参照し、各インパクト点のダイジェスト動画をスイング速度Im_v順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS25)。
【0135】
並べ替えがスイング速度順ではないと判定した場合(ステップS24;No)、CPU21は、並べ替えが飛球方向順か否かを判定する(ステップS26)。
【0136】
並べ替えが飛球方向順と判定した場合(ステップS26;Yes)、CPU21は、各インパクト点の飛球方向Im_cを参照し、各インパクト点のダイジェスト動画を飛球方向Im_c順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS27)。
【0137】
並べ替えが飛球方向順ではないと判定した場合(ステップS26;No)、CPU21は、並べ替えが初期設定の時刻順と判定する。この場合、CPU21は、各インパクト点の時刻情報Im_tを参照し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS28)。
【0138】
なお、デコーダ18に供給された映像データImage11、音声データSound11は、表示部19やスピーカ20から時系列的に順次顕在化されて出力される。
【0139】
そして、CPU21は、インパクト点に対応するダイジェスト動画の全て再生が終了すると、この再生処理(1)を終了させる。
【0140】
次に、このデジタルカメラ1の動作を具体的な活用例に基づいて説明する。
ユーザ3は、ダイジェスト動画撮影モードでの撮影中にボール5を4球打つものとする。そして、CPU21は撮影処理を実行し、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶する。
【0141】
ここでは、図12(a)に示すように、時刻順にA,B,C,Dの4つのタイミングでインパクト音が発生したものとする。つまり、ボール5を打つ毎に(スイングを行う毎に)ボール5を打つ瞬間にインパクト音が発生したものとする。
【0142】
インパクト検出部16は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点(A,B,C,D)を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部17に格納する。
【0143】
尚、図12(a)、図12(b)における各インパクト点に対応するダイジェスト動画上に示す数値は、音の大きさ順を示し、「1」は音の大きさが最も大きく、「4」は、音の大きさが最も小さいことを示す。
【0144】
また、ユーザ3が並べ替えメニューにおいてダイジェスト動画の並べ替えを指定していなければ、並べ替えを指定するデータは、図9に示すように、並べ替え指定欄のうちの初期設定の時刻情報Im_tの欄に格納されており、並べ替えは時刻順となっている。
【0145】
そして、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、CPU21は、インパクト情報格納部17を参照して、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11(スイングを4回行ったシーン、つまり、ボール5を4回打ったシーン)やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画(スイング毎、つまり、ボール5を打つシーン毎に分離されたダイジェスト動画)を生成する。また、インパクト情報格納部17を参照して、並べ替えに用いるインパクト情報は、時刻情報Im_tであると判別する。
【0146】
そして、表示部19は、図12(a)に示すように、CPU21の制御(ステップS28の処理)により、ダイジェスト動画をインパクト点A,B,C,Dの順に整列させて、液晶モニタ40に表示する。
【0147】
つまり、インパクト点A,B,C,Dに対応するそれぞれのダイジェスト動画を液晶モニタ40に、インパクト点Aに対応するダイジェスト動画、インパクト点Bに対応するダイジェスト動画、インパクト点Cに対応するダイジェスト動画、インパクト点Dに対応するダイジェスト動画の順で、動画再生表示する。
【0148】
一方、ユーザ3が、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードを選択し、図4(c)に示す並べ替えメニューにおいて音の大きさを選択していた場合、CPU21は、インパクト情報格納部17の並べ替え指定欄のうち、音の大きさIm_s1の欄に、並べ替えを指定するデータを格納している。
【0149】
このようなときに、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、CPU21は、インパクト情報格納部17を参照して、並べ替えに用いるインパクト情報は、音の大きさIm_s1であると判別する。
【0150】
そして、表示部19は、図12(b)に示すように、CPU21の制御(ステップS23の処理)により、ダイジェスト動画をインパクト点B,D,C,Aの順に整列させて、液晶モニタ40に表示する。
【0151】
つまり、インパクト点A,B,C,Dに対応するそれぞれのダイジェスト動画を液晶モニタ40に、インパクト点Bに対応するダイジェスト動画、インパクト点Dに対応するダイジェスト動画、インパクト点Cに対応するダイジェスト動画、インパクト点Aに対応するダイジェスト動画の順で、動画再生表示する。
【0152】
以上説明したように、本実施形態1によれば、インパクト検出部16は、各インパクト点を検出して、インパクト情報をインパクト情報格納部17に格納する。CPU21は、並べ替えが指定されると、インパクト情報格納部17に格納されたインパクト情報に基づいて、生成した複数のダイジェスト動画を並べ替え、整列させて液晶モニタ40に表示するようにした。
【0153】
従って、練習した中でスイングの部分のみを所望の順番で再生することができるので、ユーザ3に、ゴルフスイングの良否を分かり易く確認させることができ、ユーザ3は、ゴルフ練習の成果を容易に、しかも細かく解析することができる。
【0154】
(実施形態2)
実施形態2に係るデジタルカメラは、ユーザのフォームと上級者のフォームとを比較し、ユーザのフォームを採点して、そのブレ量を表示するようにしたものである。
【0155】
実施形態2のデジタルカメラ1は、図13に示すように、図1に示した実施形態1の構成に加え、参照ブレ情報格納部22と採点部23とを備える。なお、本実施形態2では、実施形態1と同一の構成については、同一の符号を用い、その構成や動作についての詳細な説明は省略する。
【0156】
参照ブレ情報格納部22は、ROM等からなり、ユーザ3のフォームを採点するためのフォームの参照データを格納するものである。
【0157】
このような参照データとして、参照ブレ情報格納部22は、例えば、図14(a)に示すようにスイングしている上級者6の総ブレ量と局所ブレ量とを格納する。この上級者6の総ブレ量と局所ブレ量とは、ユーザ3の目標となる目標ブレ量を示す。
【0158】
実施形態2では、ブレ量を、複数回のスイングを撮影した映像において、各スイングのタイミングと各画素とを対応させて得られた画素値の分散値の和とする。
【0159】
総ブレ量は、図14(a)に示すような、あるタイミングから所定時間前または所定時間後の画像を1つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間ですべての画素を対象として比較したときのブレ量である。
【0160】
また、局所ブレ量は、図14(a)に示すような、あるタイミングから所定時間前または所定時間後の画像を1つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間で、例えば、図14(b)に示すように各フレーム画像をブロックblk1〜blk8に分割し、各ブロックblk1〜blk8毎に、それぞれの画素を対象として比較したときのブレ量である。
【0161】
採点部23は、ユーザ3のフォームのブレを示す合成画像を生成して、上級者6のフォームのブレとユーザ3のフォームのブレとに基づいてユーザ3のフォームに対しての採点を行うものであり、CPU21からの通知を受けて処理を行う。
【0162】
採点部23は、インパクト情報格納部17に格納されたインパクト情報のうちの時刻情報Im_tを参照し、記憶部15に記憶されている映像データImage11に基づいて複数のダイジェスト動画を生成する。
【0163】
採点部23は、各ダイジェスト動画におけるインパクト点を基準にして各ダイジェスト動画を合成することで、合成画像を生成する。
【0164】
図15は、この合成画像の生成を示す図である。各ダイジェスト動画におけるインパクト点を、それぞれ、第1〜N(N;自然数)インパクト点とする。そして、第1〜Nインパクト点のそれぞれの画像1−1〜1−4,2−1〜2−4,N−1〜N−4は、第1〜Nインパクト点に対応するそれぞれのダイジェスト動画における各フレーム画像を示す。
【0165】
また、各フレーム画像1−1〜N−1,1−2〜N−2,1−3〜N−3,1−4〜N−4は、それぞれ、第1〜Nインパクト点を基準とし、そこから所定時間前または所定時間後の同じタイミングでのフレーム画像を示す。
【0166】
例えば、フレーム画像1−1が第1インパクト点から0.1秒前の画像であれば、フレーム画像2−1・・・N−1も、それぞれ、第2〜Nインパクト点から、同じ0.1秒前の画像を示す。
【0167】
採点部23は、それぞれ、各フレーム画像1−1〜N−1,1−2〜N−2,1−3〜N−3,1−4〜N−4を合成する。つまり、採点部23は、各ダイジェスト動画をフレーム毎に合成してダイジェスト動画の合成画像を生成する。この合成画像は、インパクト点を基準としたユーザ3のフォームスピードのバラツキを画像面内でのブレとして示している。
【0168】
採点部23は、生成した合成画像の映像データImage11をデコーダ18に供給する。
【0169】
次に、採点部23は、各合成画像におけるユーザ3のフォームに対して採点を行う。
【0170】
採点部23は、ユーザ3のフォームを採点するため、総ブレ量による採点方法又は局所ブレ量による採点方法を用いる。
【0171】
総ブレ量による採点方法の場合、採点部23は、合成画像に用いたダイジェスト動画をフレーム毎に比較することにより、ユーザ3の総ブレ量を計算する。
【0172】
上級者6のフォームは、複数回スイングを行っても各スイング間のブレ量は小さい(フォームスピードのバラツキは小さい)。これに対して、初級者のブレ量は大きく、ゴルフ練習の成果が上がるに従って、ブレ量は小さくなる。
【0173】
このブレ量に基づいてユーザ3のフォームの採点を行うことができる。採点部23は、参照ブレ情報格納部22に予め格納されている上級者6の総ブレ量を参照し、計算したユーザ3の総ブレ量と上級者6の総ブレ量との差δ1を取得する。採点部23は、取得した差δ1と予め設定されたブレ量閾値とを比較する。
【0174】
ユーザ3のフォームに対する採点を、例えば、優、良、可、不可のいずれかとするため、δ_th1,δ_th2,δ_th3(δ_th11<δ_th2<δ_th3)の3つのブレ量閾値が設定される。採点部23は、メモリ(図示せず)を備え、これらのブレ量閾値δ_th1,δ_th2,δ_th3を予めメモリに記憶する。
【0175】
δ_th3<δ1の場合、採点部23は、ユーザ3のフォームは不可と判定する。δ_th2<δ1≦δ_th3の場合、採点部23は、ユーザ3のフォームは可と判定する。δ_th1<δ1≦δ_th2の場合、採点部23は、ユーザ3のフォームは良と判定する。δ1≦δ_th1の場合、採点部23は、ユーザ3のフォームは優と判定する。
【0176】
局所ブレ量による採点方法の場合、採点部23は、合成画像の各ブロックblk1〜blk8毎に、ユーザ3の局所ブレ量を求める。採点部23は、参照ブレ情報格納部22に格納された上級者6の各ブロックblk1〜blk8毎の局所ブレ量を参照し、求めたユーザ3の局所ブレ量と上級者6の局所ブレ量との差δ2を求める。採点部23は、求めた差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。
【0177】
局所ブレ量による採点方法の場合、採点部23は、ブロックblk1〜blk8毎に、差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。
【0178】
採点部23は、ブロックblk1〜blk8毎に評価結果を示すため、ブロックblk1〜blk8毎に彩色を施したり、模様を付したりして合成画像に画像処理を施し、さらに、差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3との比較結果に基づいてこの彩色、模様を変える。
【0179】
採点部23は、総ブレ量による採点方法又は局所ブレ量による採点方法に従ってユーザ3のフォームの採点を行うと、この採点結果のデータをデコーダ18に供給する。
【0180】
総ブレ量による採点法、局所ブレ量による採点法の選択を可能とするため、記憶部15は、図16(a)に示すような選択メニュー、図16(b)に示すような採点方法選択メニューの画像データを記憶する。
【0181】
選択メニューは、並べ替え又は採点方法を選択するメニューであり、採点方法選択メニューは、総ブレ量による採点法、局所ブレ量による採点法のいずれかを選択するためのメニューである。
【0182】
実施形態2の場合、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されると、操作インタフェース11は、この操作情報をCPU21に供給し、CPU21は、この操作情報に基づいて記憶部15から、選択メニューの画像データをデコーダ18に供給する。このようにして、CPU21は、選択メニューを液晶モニタ40に表示させる。
【0183】
この選択メニューにおいて、アップキー42U、ダウンキー42Dが操作されて採点方法が選択され、右キー42Rが押下されると、操作インタフェース11は、この操作情報をCPU21に供給する。
【0184】
この操作情報が供給されると、CPU21は、記憶部15から、採点方法選択メニューの画像データを読み出してデコーダ18に供給する。このようにして、CPU21は、図16(b)に示すような採点方法選択メニューを液晶モニタ40に表示させる。なお、本実施形態2では、図16(a)に示す選択メニューで、並べ替えが選択されると、図4(c)に示した並べ替えメニューに移行することが可能となっている。
【0185】
総ブレ量による採点方法又は局所ブレ量による採点方法が選択された場合、操作インタフェース11は、採点方法を選択した操作情報をCPU21に供給する。
【0186】
CPU21は、操作インタフェース11から供給された操作情報に基づいて、選択された採点方法を判別し、判別した採点方法を採点部23に通知する。
【0187】
また、CPU21は、操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、この操作情報を採点部23に通知する。
【0188】
尚、記憶部15は、図17に示すような指示枠7の画像データを記憶している。この指示枠7は、撮影時に、ユーザ3の姿がこの指示枠7に入るようにデジタルカメラ1の位置、向きを指定する位置決めに用いるものである。
【0189】
CPU21は、動画撮影が選択された場合、撮影時にこの指示枠7の画像データをデコーダ18に供給し、この指示枠7を液晶モニタ40に表示させる。
【0190】
次に実施形態2に係るデジタルカメラ1の動作を説明する。
デジタルカメラ1は、電源ボタン31が押下されると電源をオンする。
CPU21は、操作インタフェース11から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、図17に示す指示枠7の画像データをデコーダ18に供給し、液晶モニタ40に指示枠7を表示させる。
【0191】
このとき、ユーザ3は、ユーザ3自身の姿がこの指示枠7に収まるようにデジタルカメラ1の位置決めを行う。そして、ユーザ3自身の姿がこの指示枠7に収まるようにデジタルカメラ1の位置決めが行われ、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給されると、CPU21は、図10に示すフローチャートに従って、実施形態1と同様に、撮影処理を実行する。
【0192】
撮影処理を実行した後、操作インタフェース11から、ダイジェスト動画再生モードが選択され、採点方法が選択された旨の操作情報が供給されると、CPU21は、採点部23に、選択された採点方法を通知する。
【0193】
また、操作インタフェース11から、再生ボタン39が押下された旨の操作情報が供給されると、CPU21は、この操作情報を採点部23に通知する。採点部23は、この通知を受けると、記憶部15から、再生処理(2)のプログラムデータを読み出して、図18に示すフローチャートに従い、この処理を実行する。
【0194】
つまり、操作インタフェース11から、再生ボタン39が押下された旨の操作情報が供給されると、採点部23は、インパクト情報格納部17に格納されたインパクト情報を参照し、記憶部15から、ダイジェスト動画撮影モードで撮影された映像データImage11を読み出して、複数のダイジェスト動画を生成し、上述したように、ダイジェスト動画間で、フレーム毎に画像を合成し、ダイジェスト動画の合成画像を生成する(ステップS31)。
【0195】
採点部23は、CPU21からの通知に基づいて、総ブレ量による採点方法が選択されているか否かを判定する(ステップS32)。
【0196】
総ブレ量による採点方法が選択されていると判定した場合(ステップS32;Yes)、採点部23は、合成画像に用いた各ダイジェスト動画を比較して、フレーム毎にユーザ3の総ブレ量を計算する(ステップS33)。
【0197】
採点部23は、参照ブレ情報格納部22に格納されている上級者6の総ブレ量をフレーム毎に参照して、ユーザ3の総ブレ量とこの上級者6の総ブレ量との差δ1を計算し、計算した差δ1と各総ブレ量閾値δ_th1,δ_th2,δ_th3とを比較することにより、ユーザ3のフォームをフレーム毎に採点する(ステップS34)。
【0198】
採点部23は、生成した合成画像の映像データImage11をデコーダ18に供給する(ステップS35)。
【0199】
採点部23は、採点結果のデータをデコーダ18に供給する(ステップS36)。つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
そして、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理(2)を終了させる。
【0200】
一方、CPU21からの通知に基づいて、局所ブレ量による採点方法が選択されていると判定した場合(ステップS32;No)、採点部23は、ユーザ3のフォームを分割した各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算する(ステップS37)。
【0201】
採点部23は、参照ブレ情報格納部22に格納されている上級者6の各ブロックblk1〜blk8の局所ブレ量をフレーム毎に参照して、ユーザ3の各ブロックblk1〜blk8の局所ブレ量とこの上級者6の局所ブレ量との差δ2を計算し、各ブロックblk1〜blk8毎に対して計算した差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。採点部23は、比較した結果に基づいてユーザ3のフォームの採点をフレーム毎に行う(ステップS38)。
【0202】
採点部23は、採点結果に基づいて合成画像に画像処理を施す(ステップS39)。
採点部23は、合成画像の映像データImage11をデコーダ18に供給する(ステップS35)。
【0203】
採点部23は、採点結果のデータをデコーダ18に供給する(ステップS36)。つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応するブロックblk1〜blk8毎の採点結果を表示中の合成フレーム画像における各ブロックblk1〜blk8と対応付けてそれぞれに表示する。
【0204】
そして、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理(2)を終了させる。
【0205】
次に実施形態2に係るデジタルカメラ1の動作を具体的な活用例に基づいて説明する。
【0206】
ユーザ3は、ダイジェスト動画撮影モードでの撮影中にボール5を、例えば、4球打つものとする。そして、CPU21は撮影処理を実行し、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶する。
【0207】
ここでは、図12(a)に示すように、時刻順にA,B,C,Dの4つのタイミングでインパクト音が発生したものとする。つまり、ボール5を打つ毎に(スイングを行う毎に)ボール5を打つ瞬間にインパクト音が発生したものとする。
【0208】
インパクト検出部16は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点(A,B,C,D)を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部17に格納する。
【0209】
ここで、図16(a)に示したような選択メニューでは、採点方法が選択されているものとする。そして、ユーザにより、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、採点部23は、インパクト情報格納部17を参照して、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11(スイングを4回行ったシーン、つまり、ボール5を4回打ったシーン)やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画(スイング毎、つまり、ボール5を打つシーン毎に分離されたダイジェスト動画)を生成する。
【0210】
採点部23は、各インパクト点(A,B,C,D)を基準として、生成した複数のダイジェスト動画を上述したようにフレーム毎に合成する。
【0211】
つまり、採点部23は、図15に示すように、各インパクト点に対応するダイジェスト動画における各フレーム画像1−1〜4−1,1−2〜4−2,1−3〜4−3,1−4〜4−4を、それぞれ、合成し、図19(a)〜(d)に示すようなフレーム毎の合成画像を生成する(ステップS31の処理)。
【0212】
尚、図19(a)〜(d)のそれぞれの映像の左上又は右上に付した数値は、それぞれ、合成画像のフレーム番号を示す。採点部23は、ダイジェスト動画のフレーム画像毎にこのような合成画像の生成を行う。
【0213】
そして、図16(b)に示したような採点方法選択メニューで総ブレ量による採点方法が選択された場合(ステップS32;Yes)には、採点部23が、生成した合成画像の映像データImage11をデコーダ18に供給すると(ステップS35の処理)、表示部19は、図20に示す合成画像を液晶モニタ40に表示する。
【0214】
また、採点部23は、上述したように総ブレ量を計算し、ユーザ3のフォームを採点した結果の採点結果をデコーダ18に供給し(ステップS33,S34,S36の処理)、表示部19は、この採点結果を液晶モニタ40に表示する。
【0215】
つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
【0216】
例えば、フレーム番号1の合成画像において、ユーザ3の総ブレ量と上級者6の総ブレ量との差δ1を採点部23が計算した結果、δ_th1<δ1≦δ_th2になったものとする。
【0217】
この場合、採点部23は、採点結果を良とし、液晶モニタ40は、図20に示すように、フレーム番号1の合成画像上に1/良(フレーム番号/採点結果)を表示する。
【0218】
また、フレーム番号2の合成画像において、採点部23が差δ1を計算した結果、δ_th2<δ1≦δ_th3になったものとする。この場合、採点部23は、採点結果を可とし、液晶モニタ40は、図20に示すように、フレーム番号2の合成画像上に2/可を表示する。
【0219】
また、フレーム番号3の合成画像において、採点部23が差δ1を計算した結果、δ1≦δ1th1になったものとする。この場合、採点部23は、採点結果を優とし、液晶モニタ40は、図20に示すように、フレーム番号3の合成画像上に3/優を表示する。
【0220】
また、フレーム番号4の合成画像において、採点部23が差δ1を計算した結果、δ_th3<δ1になったものとする。この場合、採点部23は、採点結果を不可とし、液晶モニタ40は、図20に示すように、フレーム番号4の合成画像上に4/不可を表示する。
【0221】
一方、図16(b)に示したような採点方法選択メニューで局所ブレ量による採点方法が選択されていた場合(ステップS32;No)、採点部23は、各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算し、ユーザ3のフォームを採点する(ステップS37,S38の処理)。
【0222】
採点部23は、図21に示すように、ユーザ3の局所ブレ量と上級者6の局所ブレ量との差δ2と、各ブレ量閾値δ_th1,δ_th2,δ_th3と、の比較結果に基づいて、フレーム番号1の合成画像のブロックblk7、フレーム番号2の合成画像のブロックblk6、フレーム番号4の合成画像のブロックblk5,blk7に模様を付す(ステップS39の処理)。
【0223】
採点部23がこの合成画像のデータをデコーダ18に供給すると(ステップS35の処理)、表示部19は、図21に示すように模様を付した合成画像を液晶モニタ40に表示する。
【0224】
また、採点部23が、ユーザ3のフォームを採点した結果の採点結果をデコーダ18に供給すると(ステップS36の処理)、図20と同じように、表示部19は、この採点結果も合わせて液晶モニタ40に表示する。
【0225】
従って、液晶モニタ40には、ユーザ3のフォーム、そのブレ、ユーザ3のフォームの採点結果が表示され、ユーザ3のフォームに欠点がある場合には、その欠点を示す模様がユーザ3のスイングに伴って表示される。
【0226】
以上説明したように、本実施形態2によれば、上級者6の総ブレ量又は局所ブレ量とユーザ3の総ブレ量又は局所ブレ量とを比較して、ユーザ3のフォームの採点を行うようにした。
【0227】
従って、ユーザ3のスイングのブレを即座に目視できるので、容易にスイングの欠点を解析することができる。また、ユーザ3のフォームを数値に基づいて客観的に採点することができる。
【0228】
また、総ブレ量による採点方法を採用した場合、簡易な採点が可能となる。
また、局所ブレ量による採点方法を採用した場合、合成画像に、色彩を施したり、模様を付したりすることにより、ユーザ3に欠点箇所を容易に確認させることができる。
【0229】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態1では、並べ替えを図12(a)、(b)に示すように、各ダイジェスト動画の再生表示を時系列的に順次表示させるものとした。
【0230】
しかし、図22(a)に示すように、インパクト点A,B,C,Dに対応するダイジェスト動画を一括同時再生する構成としてもよい。そしてこのときに、各ダイジェスト動画の再生表示箇所を液晶モニタ40内でインパクト情報に基づいて並べ替えるようにしてもよい。
【0231】
また、所定のダイジェスト動画を比較対象として所定の表示領域に繰り返し再生表示するとともに、他の複数のダイジェスト動画を他の表示領域に時系列的に順次再生表示させる構成としてもよい。そしてこのとき、他の複数のダイジェスト動画の他の表示領域への表示を、インパクト情報に基づいて時系列的に順次再生表示させるようにしてもよい。
【0232】
例えば、図22(b)に示すように、インパクト点Bのダイジェスト動画を比較対象として、インパクト点Bのダイジェスト動画と、インパクト点C,D,Aのそれぞれのダイジェスト動画とを、比較するように、液晶モニタ40内で並べ替えるようにしてもよい。
【0233】
また、上記実施形態1では、並べ替えを、音の大きさ、時刻、スイング速度、飛球方向順のいずれかとした。しかし、並べ替えは、これに限られるものではない。
【0234】
例えば、ユーザ3の運動の成果を評価する評価値を自己採点として、ユーザ3がダイジェスト動画を参照して自己採点の入力を行えるようにして、並べ替えをこの自己採点順としてもよい。
【0235】
詳述すると、デジタルカメラ1は、このような自己採点を行えるようにするため、図23(a)に示すようなダイジェスト動画オプションメニュー、図23(b)に示すような自己採点メニューを液晶モニタ40に表示させる。
【0236】
図23(a)に示すダイジェスト動画オプションメニューは、ダイジェスト動画のオプションを設定するためのメニューであり、自己採点、並べ替えの項目を有する。
【0237】
デジタルカメラ1は、図4(b)に示す再生メニューにおいて、アップキー42U、ダウンキー42Dが操作されてダイジェスト動画再生モードが選択され、右キー42Rが押下されると、このダイジェスト動画オプションメニューを液晶モニタ40に表示させる。
【0238】
このダイジェスト動画オプションメニューにおいて、アップキー42U、ダウンキー42Dが操作されて自己採点が選択され、右キー42Rが押下されると、デジタルカメラ1は、図23(b)に示すような自己採点メニューを液晶モニタ40に表示させる。
【0239】
自己採点メニューは、自己採点の有効、無効を選択するためのメニューであり、自己採点の有効、無効は、自己採点メニューにおいて、アップキー42U、ダウンキー42Dが操作されて有効、無効が選択され、セットキー42Sが押下されることにより選択される。
【0240】
CPU21は、操作インタフェース11から、図23(b)に示す自己採点メニューにおいて自己採点の有効が選択された旨の操作情報が供給された場合、自己採点は有効と判定する。
【0241】
自己採点の有効が選択された場合に自己採点データを入力する方法としては、キーによる入力方法、ゼスチャーを認識する方法、音声による入力方法等がある。キーによる入力方法の場合、デジタルカメラ1は、このキーを備える。
【0242】
ゼスチャーを認識する方法の場合、デジタルカメラ1は、例えば、使用する手袋の色を予め登録しておき、ユーザ3が手袋をした手で数字を描いた場合に、その色の位置の変化パターンに基づいて、描いた数字を認識する。
【0243】
音声による入力方法の場合、音声認識ROM12は、自己採点時に発話される音声を認識するための音声認識用のデータとして、「いち」、「に」、「さん」、「よん」、「ご」、・・・と、「ゆう(優)」、「りょう(良)」、「か(可)」、「ふか(不可)」といった自己採点データを記憶する。
【0244】
自己採点メニューにおいて自己採点の有効が選択されていると、CPU21は、上述したようなダイジェスト動画撮影モードにおける撮影処理の終了後に、記憶部15から、音声データ取得処理のプログラムデータを読み出し、図24に示すフローチャートに従って、この処理を実行する。
【0245】
CPU21は、インパクト情報格納部17を参照し、インパクト情報に基づいてインパクト点の映像データImage11を記憶部15から読み出して、デコーダ18に供給することにより、インパクト点の映像を表示させる(ステップS41)。なお、このとき表示させる映像は、上述したようにCPU21によって生成されるダイジェスト動画であってもよい。
【0246】
CPU21は、インパクト点でのフレーム画像(例えばインパクト音発生タイミングに対応するフレーム画像)を表示してから数秒経過後、LEDランプ35にLED点灯制御信号を供給してLEDランプ35を点灯する(ステップS42)。
【0247】
CPU21は、ユーザ3の発話による音声データSound1を入力して、自己採点の入力を受け付けるように、映像・音声入力部13を制御する(ステップS43)。CPU21は、LEDランプ35にLED点灯制御信号を供給してから、予め設定された時間経過後にLED点灯制御信号の供給を停止してLEDランプ35を消灯する。
【0248】
このとき、ユーザは、表示された映像を確認して自己採点を行い、LEDランプ35の点灯中に、例えば「ゆう(優)」、「りょう(良)」、「か(可)」、「ふか(不可)」のように発話する。
【0249】
エンコーダ14は、入力された音声データSound1を圧縮、符号化して音声データSound11を生成し、CPU21は、エンコーダ14が圧縮、符号化した音声データSound11を記憶部15に記憶する(ステップS44)。
【0250】
CPU21は、インパクト情報格納部17を参照し、インパクト情報に基づいて、他にインパクト点があるか否かを判定する(ステップS45)。
【0251】
他にインパクト点があると判定した場合(ステップS45;Yes)、CPU21は、ステップS41〜S44を実行する。
【0252】
他にインパクト点がないと判定した場合(ステップS45;No)、CPU21は、この音声データ取得処理を終了させる。
【0253】
記憶部15にユーザ3の発話による音声データSound11が記憶されると、CPU21は、取得した音声データから自己採点データを取得するように、インパクト検出部16を制御する。インパクト検出部16は、記憶部15から、この音声データSound11を読み出す。
【0254】
音声認識部16hは、インパクト検出部16が記憶部15から読み出した音声データSound11と音声認識ROM12に記憶された音声認識用のデータとを比較して、ユーザ3が発話した音声を認識し、音声認識データIm_s2を自己採点データとして出力する。以後、この音声認識データIm_s2を自己採点データIm_s2とする。
【0255】
インパクト検出部16は、音声認識部16hが出力した自己採点データIm_s2をインパクト情報としてインパクト情報格納部17に格納する。
【0256】
なお、インパクト情報格納部17は、図25に示すように、インパクト検出部16から供給された自己採点データIm_s2をインパクト点毎に格納する。
【0257】
デジタルカメラ1は、このようにして音声による入力方法により自己採点データを取得する。
【0258】
次に、図23(a)に示すダイジェスト動画オプションメニューにおいて、アップキー42U、ダウンキー42Dが操作されて並べ替えが選択され、右キー42Rが押下されると、デジタルカメラ1は、図23(c)に示すような並べ替えメニューを液晶モニタ40に表示させる。
【0259】
この並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが操作され、並べ替えに用いるインパクト情報として自己採点が選択され、セットキー42Sが押下された旨の操作情報が供給されると、CPU21は、インパクト情報格納部17の並べ替え指定欄のうちの自己採点データの欄に、並べ替えを指定するデータを格納する。
【0260】
操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、CPU21は、記憶部15から、再生処理(3)のプログラムのデータを読み出し、図26に示すフローチャートに従って、この処理を実行する。
【0261】
CPU21は、図11に示す再生処理(1)のステップS21〜27と同様の処理を実行する(ステップS51〜57)。
【0262】
CPU21は、操作インタフェース11から供給された操作情報に基づいて、並べ替えが飛球方向順ではないと判定すると(ステップS56;No)、並べ替えが自己採点順か否かを判定する(ステップS58)。
【0263】
並べ替えが自己採点順と判定した場合(ステップS58;Yes)、CPU21は、各インパクト点の自己採点データIm_s2を参照し、各インパクト点のダイジェスト動画を自己採点データIm_s2順に並べ替え、映像データImage11、音声データSound11をデコーダ18に供給する(ステップS59)。
【0264】
並べ替えが自己採点順ではないと判定した場合(ステップS58;No)、CPU21は、並べ替えが初期設定の時刻順と判定し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、映像データImage11、音声データSound11をデコーダ18に供給する(ステップS60)。そして、CPU21は、この再生処理(3)を終了させる。
【0265】
このように、ユーザ3の自己採点の結果に基づいて、ダイジェスト動画を整列させて表示させることにより、複数のダイジェスト動画をユーザ3が考えている通りに整列させることができる。このため、ユーザ3の思い通りに自己のフォームを解析を行うことができる。
【0266】
また、ユーザ3の発話を音声認識して自己採点を行うようにすることにより、容易に自己採点を行うことができる。
【0267】
上記実施形態1では、スイング速度、飛球方向等の演算を撮影終了後に行うものとした。しかし、これらの演算がCPUの負荷に対して問題にならないような場合には、これらの演算を撮影と平行して行うようにしてもよい。
【0268】
上記実施形態1では、インパクト情報を、時刻情報、音の大きさ、スイング速度、飛球方向として説明した。しかし、インパクト情報はこれに限られるものではなく、例えば、ボール5の打球速度であってもよい。この場合、インパクト検出部16は、ボール5の中心の移動距離を検出し、この移動距離と撮影間隔とに基づいてボール5の打球速度を取得する。
【0269】
上記実施形態1では、検出したインパクト点に対応する全てのダイジェスト動画を表示するものとして説明した。しかし、ダイジェスト動画の表示については、ダイジェスト動画の全てを必ずしも再生しなくてもよい。
【0270】
例えば、インパクト情報を評価し、評価値の高いものだけを表示してもよい。例えば、インパクト情報としてスイングスピードを評価し、スイングスピードの最も速いものだけを表示したりしてもよい。
【0271】
上記実施形態1,2では、付随して音が発生する運動として、ゴルフスイングを例に説明した。しかし、このような運動であれば、ゴルフスイングに限られるものではない。例えば、運動は、ボールを用いた運動として、テニスのサーブ練習、野球の打撃練習、バレーボールのサーブ練習、サッカーのシュート練習のような練習であってもよい。
【0272】
さらに、このような運動は、ボールを用いた運動に限られるものでもなく、例えば、体操競技の跳馬練習、短距離走のスタート練習等であってもよい。
【0273】
体操競技の跳馬練習の場合は、跳馬台に手をついたときに音が発生し、短距離走のスタート練習の場合、スタート合図を行うときに信号音が発生する。このように体操競技の跳馬練習、短距離走のスタート練習であっても、発生した音を基準にダイジェスト動画を生成することができる。
【0274】
上記実施形態1,2では、インパクト検出部16が音の大きさに基づいてインパクト点を検出するようにした。しかし、インパクト検出部16は、例えば、映像に基づいてインパクト点を検出するようにしてもよい。
【0275】
ゴルフ練習を例にして説明すると、インパクト点では、インパクト音を発するとともに、ボール5の球速等も変化する。映像データImage11から、この変化タイミングを検出することにより、インパクト点を検出することができる。
【0276】
上記実施形態1,2では、デジタルカメラ1は、ユーザ3の正面側に配置されるものとして説明した。しかし、デジタルカメラ1の配置位置は、これに限られるものではなく、例えば、ユーザ3の後方に配置されてもよい。
【0277】
この場合、指示枠7は、ユーザ3の後方から撮影するのにふさわしい形状のものとし、また、参照ブレ情報格納部22も、上級者6の後方から撮影したときの上級者6のブレ量等を、参照データとして格納する。
【0278】
上記実施形態2では、総ブレ量が大きい場合でも採点結果を表示するようにした。しかし、総ブレ量が非常に大きく、採点結果を表示するまでもないときは、採点結果の表示を省略してもよい。
【0279】
上記実施形態1,2では、局所ブレ量が大きい場合、そのブロックに色彩を施したり、模様を付したり等の合成画像の加工を行うようにした。しかし、合成画像の画像処理は、これに限られるものではなく、例えば、局所ブレ量が大きいブロックを、点滅、拡大、画面切替間隔を変える等の処理であってもよい。
【0280】
上記実施形態2では、ブレ量を画素値の分散の和とした。しかし、ブレ量は、このような算出方法によるものであるとは限らない。例えば、フレーム画像間の差分を撮った上で画素値の分散値を求めてもよい。また、上級者6、ユーザ3のエッジ画像を生成し、座標を設定してエッジ画像の変位の分散値に基づいて、ブレ量を算出するようにしてもよい。また、分散値の代わりに標準偏差を用いてブレ量を算出してもよい。
【0281】
上記実施形態2では、ダイジェスト動画を合成した合成画像を表示するようにした。しかし、ダイジェスト動画の変わりに、静止画である各フレーム画像の合成画像を並べて表示するようにしてもよい。
【0282】
上記実施形態1では、インパクト検出部16、CPU21を異なる構成として説明した。また、上記実施形態2では、インパクト検出部16、CPU21、採点部23を異なる構成として説明した。しかし、これらを同じ構成としてもよい。そして、これらの構成等をデジタルカメラ1とは別のコンピュータに含まれるものとして、コンピュータとデジタルカメラ1とを接続するようにしてもよい。
【0283】
上記実施形態1,2では、被写体をゴルフ練習者、動作をゴルフ練習として説明した。しかし、被写体、動作は、これに限られるものではなく、例えば、被写体を自動車、動作を衝突テストのような機械のテストとしてもよい。この場合、衝突テスト毎に、衝突音が付随音として発生するため、デジタルカメラ1は、この衝突音に基づいてダイジェスト動画を生成する。このように、上記実施形態1,2は、衝突テストのような機械のテストにも適用可能である。
【0284】
上記実施形態1,2では、ダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画として説明した。しかし、ダイジェスト動画は、インパクト点を含み、このインパクト点を起点とした、その前またはその後の予め設定された時間の動画としてもよい。
【0285】
上記実施形態1,2では、ダイジェスト動画撮影モードとダイジェスト動画再生モードとを備え、ダイジェスト動画撮影モードの実行に伴って連続動画からインパクト情報を生成し、ダイジェスト動画再生モードにおいてこの生成されたインパクト情報に基づいてダイジェスト動画を再生する構成について説明した。
【0286】
しかし、ダイジェスト動画撮影モードを備えることなく、ダイジェスト動画再生モードにおいて、撮影済みの連続動画に基づいてインパクト情報を生成するとともに、これに基づいてダイジェスト動画を再生する構成としてもよい。
【0287】
また、ダイジェスト動画撮影モードにおいてダイジェスト動画の生成までを実行し、ダイジェスト動画再生モードにおいてこの生成されたダイジェスト動画を再生する構成としてもよい。
【0288】
上記実施形態1,2では、ダイジェスト画像表示装置をデジタルカメラ1として説明した。しかし、ダイジェスト画像表示装置は、デジタルカメラに限られるものではなく、例えば、ビデオカメラであってもよい。
【0289】
また、表示部19を大型スクリーンとして、デジタルカメラ1と分離し、さらに、撮影の開始、停止、終了を音声にて行うようにすれば、ユーザ3は、デジタルカメラ1を操作しなくても、音声により、大型スクリーンに映し出された自分のフォームを評価することができる。
【0290】
また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、上記ダイジェスト画像表示装置を、これを含む装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical disk)などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【0291】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【符号の説明】
【0292】
1・・・デジタルカメラ、12・・・音声認識ROM、13・・・映像・音声入力部、14・・・エンコーダ、15・・・記憶部、16・・・インパクト検出部、17・・・インパクト情報格納部、18・・・デコーダ、19・・・表示部、21・・・CPU、22・・・参照ブレ情報格納部、23・・・採点部
【特許請求の範囲】
【請求項1】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記動作を比較するための比較情報を格納する比較情報格納部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、各タイミングの前記比較情報を取得して前記比較情報格納部に格納するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記比較情報格納部を参照し、格納された前記比較情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するダイジェスト画像表示部と、を備えた、
ことを特徴とするダイジェスト画像表示装置。
【請求項2】
前記動作は、球を用いた運動であり、
前記映像取得部は、球を用いた運動を複数回行う被写体を撮影して前記被写体の映像を取得する、
ことを特徴とする請求項1に記載のダイジェスト画像表示装置。
【請求項3】
前記動作は、補助具で前記球に衝撃を加えて飛球させる運動であり、
前記映像取得部は、補助具で前記球に衝撃を加えて飛球させる運動を複数回行う被写体を撮影して前記被写体の映像を取得し、
前記付随音取得部は、前記付随音として、前記補助具で前記球に衝撃を加えたときに発生する音を取得する、
ことを特徴とする請求項2に記載のダイジェスト画像表示装置。
【請求項4】
前記付随音取得部は、前記球に衝撃が加えられて発生する衝撃音を前記付随音として取得するものである、
ことを特徴とする請求項3に記載のダイジェスト画像表示装置。
【請求項5】
前記付随音取得部は、前記付随音を取得するとともに前記付随音の大きさを取得するものであり、
前記タイミング検出部は、前記付随音取得部が取得した付随音に基づいて、前記付随音の大きさを、各タイミングの比較情報として取得し、取得した前記付随音の大きさを前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記付随音の大きさに基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項1乃至3に記載のダイジェスト画像表示装置。
【請求項6】
前記ダイジェスト画像生成部が生成したダイジェスト画像毎に、前記被写体の動作を評価する評価値の入力を受け付けて、入力された評価値を前記比較情報として前記比較情報格納部に格納する評価値受付部を備え、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記評価値に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項1乃至3に記載のダイジェスト画像表示装置。
【請求項7】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの前記補助具の速度を、各タイミングの比較情報として取得し、取得した前記補助具の速度を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記補助具の速度に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項3に記載のダイジェスト画像表示装置。
【請求項8】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの球速を、各タイミングの比較情報として取得し、取得した前記球速を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記球速に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項3に記載のダイジェスト画像表示装置。
【請求項9】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球の飛球方向を、各タイミングの比較情報として取得し、取得した前記飛球方向を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記飛球方向に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項2又は3に記載のダイジェスト画像表示装置。
【請求項10】
前記タイミング検出部は、時刻を計測する時刻計測部を備え、前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、検出したタイミングで前記時刻計測部が計測した時刻の時刻情報を、各タイミングの前記比較情報として取得し、取得した時刻情報を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記時刻情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項1乃至3に記載のダイジェスト画像表示装置。
【請求項11】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記ダイジェスト画像生成部が各タイミング毎に生成したダイジェスト画像を、前記タイミング検出部が検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する合成画像生成部と、
前記合成画像生成部の前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するブレ量取得部と、
目標とする目標ブレ量と前記ブレ量取得部が取得した前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する評価部と、
前記合成画像生成部が生成した合成画像と前記評価部が評価した結果の評価結果とを表示するダイジェスト画像表示部と、を備えた、
ことを特徴とするダイジェスト画像表示装置。
【請求項12】
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を比較して、前記被写体の姿勢の総ブレ量を取得し、
前記評価部は、目標とする目標総ブレ量と前記被写体の総ブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する、
ことを特徴とする請求項11に記載のダイジェスト画像表示装置。
【請求項13】
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を、それぞれ複数のブロックに分割し、分割したブロック毎の前記被写体の姿勢の局所ブレ量を取得し、
前記評価部は、前記ブレ量取得部が取得した各局所ブレ量と前記各局所ブレ量の目標とする目標局所ブレ量とをそれぞれ比較し、前記被写体の各局所ブレ量と目標局所ブレ量との差に基づいて前記被写体の動作を前記ブロック毎に評価し、
前記ダイジェスト画像表示部は、前記ダイジェスト画像生成部が生成した前記ダイジェスト画像と前記評価部がブロック毎に評価した評価結果とを表示する、
ことを特徴とする請求項11に記載のダイジェスト画像表示装置。
【請求項14】
前記評価部は、前記被写体の各局所ブレ量と目標局所ブレ量との差と、前記差に対して予め設定された閾値とを比較し、前記差が前記閾値以上となったブロックの画像に、評価結果を示すための画像処理を施す、
ことを特徴とする請求項13に記載のダイジェスト画像表示装置。
【請求項15】
前記ダイジェスト画像生成部は、前記タイミング検出部が検出した1つのタイミングにおいて1回の動作における複数のダイジェスト画像を生成し、
前記評価部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を並べて合成する、
ことを特徴とする請求項11乃至14のいずれか1項に記載のダイジェスト画像表示装置。
【請求項16】
前記目標ブレ量を記憶する目標ブレ量記憶部を備え、
前記評価部は、前記目標ブレ量記憶部を参照して、前記目標ブレ量を取得する、
ことを特徴とする請求項11乃至15のいずれか1項に記載のダイジェスト画像表示装置。
【請求項17】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得するステップと、
取得した前記比較情報を格納するステップと、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
格納された前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示するステップと、を備えた、
ことを特徴とするダイジェスト画像表示方法。
【請求項18】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成するステップと、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するステップと、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するステップと、
前記合成画像と評価した結果の評価結果とを表示するステップと、を備えた、
ことを特徴とするダイジェスト画像表示方法。
【請求項19】
コンピュータに、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得する手順、
取得した比較情報を格納する手順、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
格納した前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示する手順、
を実行させるためのプログラム。
【請求項20】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する手順、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得する手順、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する手順、
前記合成画像と評価した結果の評価結果とを表示する手順、
を実行させるためのプログラム。
【請求項1】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記動作を比較するための比較情報を格納する比較情報格納部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、各タイミングの前記比較情報を取得して前記比較情報格納部に格納するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記比較情報格納部を参照し、格納された前記比較情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するダイジェスト画像表示部と、を備えた、
ことを特徴とするダイジェスト画像表示装置。
【請求項2】
前記動作は、球を用いた運動であり、
前記映像取得部は、球を用いた運動を複数回行う被写体を撮影して前記被写体の映像を取得する、
ことを特徴とする請求項1に記載のダイジェスト画像表示装置。
【請求項3】
前記動作は、補助具で前記球に衝撃を加えて飛球させる運動であり、
前記映像取得部は、補助具で前記球に衝撃を加えて飛球させる運動を複数回行う被写体を撮影して前記被写体の映像を取得し、
前記付随音取得部は、前記付随音として、前記補助具で前記球に衝撃を加えたときに発生する音を取得する、
ことを特徴とする請求項2に記載のダイジェスト画像表示装置。
【請求項4】
前記付随音取得部は、前記球に衝撃が加えられて発生する衝撃音を前記付随音として取得するものである、
ことを特徴とする請求項3に記載のダイジェスト画像表示装置。
【請求項5】
前記付随音取得部は、前記付随音を取得するとともに前記付随音の大きさを取得するものであり、
前記タイミング検出部は、前記付随音取得部が取得した付随音に基づいて、前記付随音の大きさを、各タイミングの比較情報として取得し、取得した前記付随音の大きさを前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記付随音の大きさに基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項1乃至3に記載のダイジェスト画像表示装置。
【請求項6】
前記ダイジェスト画像生成部が生成したダイジェスト画像毎に、前記被写体の動作を評価する評価値の入力を受け付けて、入力された評価値を前記比較情報として前記比較情報格納部に格納する評価値受付部を備え、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記評価値に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項1乃至3に記載のダイジェスト画像表示装置。
【請求項7】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの前記補助具の速度を、各タイミングの比較情報として取得し、取得した前記補助具の速度を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記補助具の速度に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項3に記載のダイジェスト画像表示装置。
【請求項8】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの球速を、各タイミングの比較情報として取得し、取得した前記球速を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記球速に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項3に記載のダイジェスト画像表示装置。
【請求項9】
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球の飛球方向を、各タイミングの比較情報として取得し、取得した前記飛球方向を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記飛球方向に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項2又は3に記載のダイジェスト画像表示装置。
【請求項10】
前記タイミング検出部は、時刻を計測する時刻計測部を備え、前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、検出したタイミングで前記時刻計測部が計測した時刻の時刻情報を、各タイミングの前記比較情報として取得し、取得した時刻情報を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記時刻情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項1乃至3に記載のダイジェスト画像表示装置。
【請求項11】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記ダイジェスト画像生成部が各タイミング毎に生成したダイジェスト画像を、前記タイミング検出部が検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する合成画像生成部と、
前記合成画像生成部の前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するブレ量取得部と、
目標とする目標ブレ量と前記ブレ量取得部が取得した前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する評価部と、
前記合成画像生成部が生成した合成画像と前記評価部が評価した結果の評価結果とを表示するダイジェスト画像表示部と、を備えた、
ことを特徴とするダイジェスト画像表示装置。
【請求項12】
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を比較して、前記被写体の姿勢の総ブレ量を取得し、
前記評価部は、目標とする目標総ブレ量と前記被写体の総ブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する、
ことを特徴とする請求項11に記載のダイジェスト画像表示装置。
【請求項13】
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を、それぞれ複数のブロックに分割し、分割したブロック毎の前記被写体の姿勢の局所ブレ量を取得し、
前記評価部は、前記ブレ量取得部が取得した各局所ブレ量と前記各局所ブレ量の目標とする目標局所ブレ量とをそれぞれ比較し、前記被写体の各局所ブレ量と目標局所ブレ量との差に基づいて前記被写体の動作を前記ブロック毎に評価し、
前記ダイジェスト画像表示部は、前記ダイジェスト画像生成部が生成した前記ダイジェスト画像と前記評価部がブロック毎に評価した評価結果とを表示する、
ことを特徴とする請求項11に記載のダイジェスト画像表示装置。
【請求項14】
前記評価部は、前記被写体の各局所ブレ量と目標局所ブレ量との差と、前記差に対して予め設定された閾値とを比較し、前記差が前記閾値以上となったブロックの画像に、評価結果を示すための画像処理を施す、
ことを特徴とする請求項13に記載のダイジェスト画像表示装置。
【請求項15】
前記ダイジェスト画像生成部は、前記タイミング検出部が検出した1つのタイミングにおいて1回の動作における複数のダイジェスト画像を生成し、
前記評価部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を並べて合成する、
ことを特徴とする請求項11乃至14のいずれか1項に記載のダイジェスト画像表示装置。
【請求項16】
前記目標ブレ量を記憶する目標ブレ量記憶部を備え、
前記評価部は、前記目標ブレ量記憶部を参照して、前記目標ブレ量を取得する、
ことを特徴とする請求項11乃至15のいずれか1項に記載のダイジェスト画像表示装置。
【請求項17】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得するステップと、
取得した前記比較情報を格納するステップと、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
格納された前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示するステップと、を備えた、
ことを特徴とするダイジェスト画像表示方法。
【請求項18】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成するステップと、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するステップと、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するステップと、
前記合成画像と評価した結果の評価結果とを表示するステップと、を備えた、
ことを特徴とするダイジェスト画像表示方法。
【請求項19】
コンピュータに、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得する手順、
取得した比較情報を格納する手順、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
格納した前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示する手順、
を実行させるためのプログラム。
【請求項20】
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する手順、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得する手順、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する手順、
前記合成画像と評価した結果の評価結果とを表示する手順、
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2011−205657(P2011−205657A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2011−100293(P2011−100293)
【出願日】平成23年4月28日(2011.4.28)
【分割の表示】特願2007−70223(P2007−70223)の分割
【原出願日】平成19年3月19日(2007.3.19)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願日】平成23年4月28日(2011.4.28)
【分割の表示】特願2007−70223(P2007−70223)の分割
【原出願日】平成19年3月19日(2007.3.19)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]