行動分析支援システム及び行動分析支援プログラム
【課題】容易な操作で行動分析に要する時間を短縮する行動分析ツールとして機能する行動分析支援システム及び行動分析支援プログラムを提供する。
【解決手段】ユーザの取得開始操作と取得終了操に応じて動画データを取得するデータ取得制御部５０ａと、取得中の画像に対してユーザによる付加情報の入力を受け付け、その入力された付加情報を画像に対応付ける付加情報処理部５０ｅと、取得した複数の動画データのそれぞれの再生画像が付加情報とともに表示されるサムネイル画像を生成して一覧表示するサムネイル画像生成部５０ｃとを有する。
【解決手段】ユーザの取得開始操作と取得終了操に応じて動画データを取得するデータ取得制御部５０ａと、取得中の画像に対してユーザによる付加情報の入力を受け付け、その入力された付加情報を画像に対応付ける付加情報処理部５０ｅと、取得した複数の動画データのそれぞれの再生画像が付加情報とともに表示されるサムネイル画像を生成して一覧表示するサムネイル画像生成部５０ｃとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に基づいた行動分析ツールとして利用される行動分析支援システム及び行動分析支援プログラムに関する。
【背景技術】
【０００２】
児童やスポーツ選手の行動分析のために、記録した動画像を利用する方法は周知である。取得された動画像データの編集を容易にするシステムは知られている（例えば、特許文献１及び特許文献２参照。）。しかし、例えば行動分析者が一人で動画像を撮影する場合、撮影機材の撮影の操作のために、撮影中に注目すべき行動に気付いても、その行動に関するメモをノートやパソコンに記録することは困難である。このため、撮影中に残しておきたいコメントを音声情報として記録する方法は既に知られている（例えば、非特許文献１参照）。
【特許文献１】特開２００４−１９３９３４号公報
【特許文献２】特開２００４−５３４４５８号公報
【非特許文献１】刑部育子、戸田真志、”Ｓｃｅｎｅ−Ｃｏｍｍｅｎｔａｒｙ Ｄｅｖｉｃｅ： Ａ Ｔｏｏｌ ｆｏｒ ｔｈｅ Ｉｍｍｅｄｉａｔｅ Ｒｅｆｌｅｃｔｉｏｎ ｏｖｅｒ Ｏｂｓｅｒｖｅｄ Ｅｐｉｓｏｄｅｓ、 Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｗｏｒｌｄ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｄｕｃａｔｉｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ， Ｈｙｐｅｒｍｅｄｉａ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ２００８”、 米国、 ２００８年、Ｐ．５６３５−５６３９
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、単に記録された動画像を再生して当該再生画像に基づいて分析を行う従来方法においては、動画像の見直し、重要な出来事の抽出、当該出来事の文字情報化、及び分析結果の生成、といった作業が必要となり、分析結果が生成されるまでに一般に記録時間の約１０倍の時間がかかる。特に、記録時間が長い場合は、重要な出来事の抽出のために記録された動画像を一から見直さなければならず、分析者の負担は多大となる。一方、音声情報を動画像と共に記録する方法は、記録される情報量に限りがあり、また、多くの被写体が撮影されている場合、動画像と音声情報との対応関係が直観的にわかりにくいため、音声情報の確認のために動画像を何度も再生しなければならないといった問題がある。
【０００４】
そこで、本発明は、容易な操作で行動分析に要する時間を短縮する行動分析ツールとして機能する行動分析支援システム及び行動分析支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、以下の手段により上述した課題を解決する。なお、本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記するが、それにより本発明が図示の形態に限定されるものではない。
【０００６】
本発明の行動分析支援システム（１）は、所定の動体の動画データを取得する動画取得部（２）と、前記動画取得部によって取得された動画データを記憶する画像記憶部（４０ａ）と、複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部（１０）と、前記動画取得部によって取得される動画データに関する処理を制御する制御部（５０）と、ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、を備えた行動分析支援システムであって、前記制御部は、ユーザによる取得開始操作と取得終了操作に応じて前記動画データを前記動画取得部を介して取得するデータ取得制御部（５０ａ）と、前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部（５０ｄ）と、前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付ける付加情報処理部（５０ｅ）と、前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部（５０ｂ）と、前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して前記サムネイル表示領域に一覧表示するサムネイル画像生成部（５０ｃ）と、を有し、前記サムネイル画像生成部は、前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示する、ことにより上記の課題を解決する。
【０００７】
本発明の行動分析システムによれば、まず、データ取得制御部により、各動画データは、ユーザの取得開始操作及び取得終了操作に応じて取得されるので、ユーザは所望のタイミングで動画データの取得開始及び終了のタイミングを指定することができる。従って、ユーザは、被分析者がいる現場で留意すべきシーンのみを動画データとして取得しておくことができる。そして、付加情報処理部によって再生中の画像に対してユーザによって入力された付加情報を対応付けることができ、付加情報はデータ記憶制御部によって動画データとともに取得画像データとして記憶される。更に、サムネイル画像生成部によって、取得された複数の動画データのそれぞれはサムネイル画像として一覧表示され、当該再生時には付加情報も対応する画像とともに再生される。
【０００８】
「表示された画像に視覚的に付加する付加情報」は、所定の画像上に付加可能な周知の視覚的情報でであればよく、例えば、再生表示領域に表示される画像に対してタッチペン等による手書き入力情報や、当該画像の任意の位置に対してキーボード等によって入力するテキスト情報等がある。特に、手書き入力を採用した場合は、ユーザは動画の取得中にその取得している画像上にメモ書きをする感覚で付加情報を任意の位置に容易に入力することができる。更に、一連の動画データを取得した後は、各動画データのサムネイル画像を一覧して見ることができる。各サムネイル画像では留意すべき行動のシーンがメモ書きとしての付加情報付きで再生されるので、動画取得時の記憶を思い出しやすく、また、各行動の関連性や特徴も見出しやすくなる。ユーザは行動の特徴を文字ではなく実際の行動シーンである複数の動画像を一度に見て分析できるので、特に分析者の直観や経験に基づいた分析を支援することができる。
【０００９】
「所定の動体」は動きのあるものであればよく、人、生物、物など問わない。付加情報を特定の画像に対応付ける態様には、例えば、動画データを構成する複数の画像フレームのうち対応付けるべき画像の画像フレームに対して付加情報を対応付ける場合と、動画データの再生を開始してから対応付けるべき画像が表示されるまでの再生経過時間に付加情報を対応付ける場合とがある。操作入力部は、マウス、キーボート等のユーザが直接操作する操作部材から発信される操作信号を受け付けて制御部へ送る構成であればよい。
【００１０】
前記動画再生部は、前記サムネイル表示領域に表示された複数のサムネイル画像の中から、ユーザによって選択されたサムネイル画像に対応する動画データを再生して前記再生表示領域に表示してもよい。
【００１１】
これにより、サムネイル画像の一覧から所望の動画データを選択して、当該動画データを再生表示領域に表示させることができる。再生表示領域に表示された画像に対しては付加情報処理部により付加情報を付加することができるので、例えば、動画データ取得後に十分検討した分析内容を付加情報として付加することができる。行動内容を文字で表現することなく取得した画像を利用して分析内容を付加できるため、行動分析を行うユーザの負担を軽減化することができる。
【００１２】
前記各取得画像データの動画データには、少なくとも１つのレイヤーを対応付け可能であり、前記付加情報処理部は、前記付加情報が入力される際に前記表示された画像にレイヤーを対応付け、その対応付けられたレイヤーに前記付加情報を設定して前記画像記憶部に記憶し、前記動画再生部及び前記サムネイル画像生成部は、前記画像を再生する際に、前記表示された画像と共に、その画像に対応付けられたレイヤーに設定された付加情報を、前記再生表示領域に表示してもよい。
【００１３】
これにより、付加情報をレイヤー構造にて動画データに対応付けることができる。レイヤー毎に同じ表示タイミングで表示されるべき付加情報を設定しておけば、レイヤー単位で付加情報の表示タイミングを制御することができる。また、時間経緯に従って、異なるレイヤーを設定可能であるので、時々刻々変化する出来事に対応したメモ書きをすることができる。
【００１４】
前記サムネイル表示領域及び前記再生表示領域を合わせた全体領域の少なくとも一部の領域に表示する画像に関する情報である領域画像情報を記憶する領域画像記憶部（４０ｃ）と、前記領域画像情報は少なくとも１つの領域レイヤーにて構成され、前記制御部は、前記少なくとも一部の領域に対応付けられた領域レイヤーを設定し、前記少なくとも一部の領域に対してユーザによって入力される領域付加情報を、前記領域レイヤーに設定して前記領域画像情報として記憶する領域付加情報設定部（５０）と、ユーザによって前記領域レイヤーが指定されると、前記領域画像記憶部を参照して、前記領域レイヤーに設定された前記領域付加情報を、前記領域レイヤーが対応する前記少なくとも一部に表示する領域レイヤー表示制御部（５０）とを有してもよい。
【００１５】
これにより、再生表示領域及びサムネイル表示領域上に領域レイヤーを設定でき、再生表示領域及びサムネイル表示領域を問わず、自由にコメントの設定やメモ書きをすることができる。例えば、複数のサムネイル画像間の関連性を示す情報や再生表示領域に表示されている動画像といずれかのサムネイル画像との関連性を示す情報を領域付加情報として手書き入力することができ、ユーザの操作に応じて画像表示部に表示させることができる。領域レイヤーと少なくとも一部の領域との対応付けは、例えば、ユーザの操作によって当該領域が設定されてもよいし、予め、所定の領域に対応付けられた複数種類の領域レイヤーが用意されていてもよい。領域付加情報が入力される方法は、全体領域における任意の位置に領域付加情報が入力できる方法であればよく、例えば、タッチペン等により直接所望の位置に手書き入力される方法や、入力位置を指定して入力すべき領域付加情報がキーボードによって入力される場合とがある。
【００１６】
前記付加情報はテキスト情報と前記テキスト情報を配置する位置情報で構成され、 前記制御部は、前記ユーザによって、所望のキーワードが指定されると、前記テキスト情報を検索して、前記キーワードを含むテキスト情報が対応付けられた動画データを検出する検出部（５０）を更に有し、前記サムネイル画像生成部は、前記検出部によって検出された動画データから前記サムネイル画像を生成して前記サムネイル表示領域に表示してもよい。
【００１７】
これにより、複数の動画データを取得した場合であっても、所望のキーワードと関連のある動画データの検索を容易にすることができる。検索された動画データはサムネイル画像として一覧されるため、所望の１つのサムネイル画像を選択すれば、動画再生部により、選択されたサムネイル画像に対応する動画データの再生画像を再生表示領域に表示することができる。
【００１８】
また、前記付加情報は、手書き入力操作の軌跡情報であり、前記動画再生部及び前記サムネイル画像生成部は、前記画像フレームに対応する画像の表示とともに、前記軌跡情報に従った表示を開始してもよい。
【００１９】
前記データ取得制御部は、ユーザによりスタンバイ操作があると、前記動画取得部によってバックグラウンド動画データの取得を開始して前記画像記憶部に記憶し、前記取得終了操作があると、前記バックグラウンド動画データのうち、前記取得開始操作がされた時から所定時間遡った時から前記取得終了操作がされた時までに対応する部分を、前記動画データとして取得してもよい。
【００２０】
これにより、取得開始操作時の所定時間前からの動画データが取得画像データとして記憶されるため、取得開始操作が遅れた場合であっても、所定時間前からの行動を動画データとして取得することできる。従って、行動観察者が特徴のある行動に気付いてから取得開始操作を行うまでのタイムラグを解消することができる。
【００２１】
本発明の行動分析支援プログラムは、所定の動体の動画データを取得する動画取得部と、前記動画取得部によって取得された動画データを記憶する画像記憶部（４０ａ）と、複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部（３）と、前記動画取得部によって取得される動画データに関する処理を制御する制御部（５０）と、ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、を備えたコンピュータを機能させる行動分析支援プログラムであって、前記制御部を、ユーザによる取得開始操作と取得終了操作に応じて前記動画データを前記動画取得部を介して取得するデータ取得制御部（５０ａ）と、前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部（５０ｄ）と、前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付ける付加情報処理部（５０ｅ）と、前記開始操作と前記終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部（５０ｂ）と、前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して前記サムネイル表示領域に一覧表示するサムネイル画像生成部（５０ｃ）と、して機能させ、前記サムネイル画像生成部に、前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示させることにより、上記の課題を解決する。本発明の行動分析支援プログラムを、コンピュータに実行させることにより、行動分析支援システムとして実現することができる。
【発明の効果】
【００２２】
上述したように、本発明によれば、ユーザの操作に応じて所定の動体の動画データを取得し、取得中の画像における任意の位置に対してユーザによる付加情報の入力を受け付け、その入力された付記情報を前記位置を示す位置情報とともに付加情報として画像に対応付け、取得された複数の動画データのサムネイル画像を一覧表示し、各サムネイル画像では付加情報とともに再生画像が表示されることにより、容易な操作で行動分析に要する時間を短縮する行動分析ツールとして機能する行動分析支援システム等を提供することができる。
【発明を実施するための最良の形態】
【００２３】
図１は、本発明の行動分析支援システム１の構成の一例を示す図である。行動分析支援システム１は、カメラ２と、モニタ３ａを有するタブレットＰＣ３と、マウス４とで構成される。タブレットＰＣ３に情報を入力する方法には、マウス４によるマウス入力と不図示のキーボードによるキー入力がある。カメラ２は小型なハンディカメラが望ましく、また、カメラ２及びマウス４はタブレットＰＣに対して無線接続される態様が好適である。
【００２４】
なお、本形態では、マウス４の操作に基づいて動作する仮想ペンによる入力が可能である。これにより、マウス４は、タッチパネルとしてのモニタ３ａに手書き入力可能なタッチペンの代替手段として機能する。以下、マウス４の位置をモニタ３ａ上の位置に対応させた位置情報を「マウス座標」という。本形態では、カメラ２によって動体としての複数の児童の行動を記録し、行動分析支援システム１が児童の行動分析支援ツールとして使用される場合について説明する。
【００２５】
まず、本形態のモニタ３ａに表示される基本画面１０について図２を用いて説明する。基本画面１０は、カメラ２によって記録中の動画データの再生画像が表示される再生表示領域１０ａと、複数のサムネイル画像１１…１１が一覧表示されるサムネイル表示領域１０ｂと、処理ボタン領域１０ｃとで構成される。再生表示領域１０ａには記録中の動画データの再生画像又は記録した動画データの再生画像が表示される。各サムネイル画像１１には、取得された複数の動画データのそれぞれが縮小化された状態で再生表示される。処理ボタン領域１０ｃには複数の処理ボタンが表示され、目的の処理ボタンにポイントをあわてマウス４をクリックすることにより目的の処理ボタンが選択される。以下、再生表示領域１０ａとサムネイル表示領域１０ｂを合わせた領域を全体領域１０ｄという。
【００２６】
本形態の動画データは、ユーザにより記録開始操作がされてから記録終了操作がされるまでに取得される動画像のデータを１つの単位としたデータである。従って、図３が示すように、記録開始操作ＳＯ１から記録終了操作ＥＯ１までに記録された動画データは動画データＡＤ１として生成され、記録開始操作ＳＯ２から記録終了操作ＥＯ２までに記録された動画データは動画データＡＤ２として生成され、記録開始操作ＳＯ３から記録終了操作ＥＯ３までに記録された動画データは動画データＡＤ３として生成され、記録開始操作ＳＯ４から記録終了操作ＥＯ４までに記録された動画データは動画データＡＤ４として生成される。動画データＡＤ１〜動画データＡＤ４のそれぞれは、サムネイル画像１１としてサムネイル表示領域１０ｂに生成された順に順次表示される。図３の例では、再生表示領域１０ａに、記録中の動画データＡＤ５の再生画像が表示されている。なお、サムネイル表示領域１０ｂに表示されたサムネイル画像１１のうち、ユーザにより選択されたサムネイル画像１１の再生画像も再生表示部１０ａに表示させることができる。
【００２７】
以下、記録開始操作ＳＯ１〜ＳＯ４を区別する必要がない時は、「記録開始操作ＳＯ」といい、記録終了操作ＥＯ１〜ＥＯ４を区別する必要がない時は、「記録終了操作ＥＯ」といい、動画データＡＤ１〜ＡＤ４を区別する必要がない時は、「動画データＡＤ」という。
【００２８】
本形態においては、動画を記録する際に、まずスタンバイ開始操作ＳＳＯが要求される。スタンバイ開始操作ＳＳＯが行われると、行動分析支援システム１はスタンバイ状態となり、バックグランドでの動画データＡＤ（以下「バックグランド動画データＡＤｂａｃｋ」という。）の記録を開始する。そして、スタンバイ終了操作ＳＥＯがあるまでバックグランド動画データＡＤｂａｃｋを記録し続ける。一方、ユーザによって記録開始操作ＳＯがあると、記録開始操作ＳＯから記録終了操作ＥＯまでに対応するバックグランド動画データＡＤｂａｃｋを動画データＡＤとして生成する。なお、本形態では、記録開始操作ＳＯがされたタイミングよりも約１５秒前から記録終了操作ＥＯがされるまでのバックグランド動画データＡＤｂａｃｋ を取得された動画データＡＤとする。これにより、重要シーンが観察者に認識されて実際に記録開始操作ＳＯが行われるまでのタイムラグを解消することができる。
【００２９】
記録中または編集中に再生表示部１０ａに表示された画像（以下「表示画像」という。）に対して、ユーザは覚書きや注意点等を記した付加情報を付加することができる。当該付加情報について図４及び図５を用いて説明する。付加情報には、手書き入力により入力される手書き情報とキーボードを介してキー入力により入力されるコメントがある。まず、手書き情報について図４を用いて説明する。行動分析支援システム１では、上述したようにマウス４の操作により、表示画像に対して仮想ペンによる手書き入力が可能である。図４では、再生表示領域１０ａに表示される表示画像Ｄ１に対して、“たくやくんつよい口調”の手書き情報Ｈが付加情報として手書き入力された状態が示されている。この手書き機能は既存の手書き入力システムを採用すればよい。手書き入力機能により、文字列だけでなく所望の記号や図形を手書き情報Ｈとして表示画像Ｄ１の任意の位置にメモ書きの感覚で入力可能である。このように、手書き入力機能は、特に記録中の表示画像に対するメモ書き機能として有効である。なお、仮想ペンの太さ、色等の属性は任意に設定可能である。
【００３０】
キー入力によって入力されるコメントの例を図５に示す。行動分析支援システム１では、図５に示すようなコメントＣ１〜Ｃ３を付加情報として表示画像Ｄ２に付加することができる。以下、コメントＣ１〜Ｃ３を特に区別する必要がない時は「コメントＣ」という。本形態のコメントＣは、所定の位置に配置されたコメント枠２０にコメント内容２１が表示される構成である。コメント内容２１はキーボードのキー入力により設定することができ、コメント枠２０の色、形状、透過性、位置等の属性は任意に設定可能である。
【００３１】
上述した付加情報は、サムネイル画像１１の再生時にも対応する画像とともに再生される。従って、例えば、ユーザはサムネイル表示領域１０ｂに表示されている複数のサムネイル画像１１の手書き情報Ｈを手掛かりにして分析すべき行動の画像を探し、当該画像に対応する動画データＡＤを再生表示領域１０ａにて再生させて、手書き情報Ｈに基づいた行動に関するコメントＣを後から付加することができる。なお、コメントＣ１に示すように、コメント内容２１として、サムネイル画像１１を設定することも可能である。当該設定は、言葉では表現しにくい行動態様や言葉では助長になる行動態様に対して有効である。
【００３２】
付加情報が動画データＡＤの画像に対応付けられる態様について説明する。本形態では、動画データＡＤに対応付けられる付加情報はレイヤー構造を有している。手書き情報Ｈ及びコメントＣ１〜Ｃ２のそれぞれは、例えば、図６に示すように各レイヤーＬ１〜Ｌ２に設定される。各レイヤーＬ１〜Ｌ２、対応する付加情報が入力された画像に対応付けられる。例えば、手書き情報Ｈが設定されたレイヤーＬ１は、手書き情報Ｈが画像Ｉ１（Ｄ１）に対して入力されたため、動画データＡＤの画像Ｉ１（Ｄ１）から表示され、レイヤーＬは、コメントＣ１〜Ｃ３が画像Ｉ２（Ｄ２）に対して入力されたため、画像Ｉ２（Ｄ２）から表示されるように設定されている。また、所定の操作により手書き情報Ｈが画像Ｉ３にて消去されるように設定されたため、レイヤーＬ１は画像Ｉ１〜画像Ｉ３までの部分に対応付けられている。これにより、レイヤーＬ１に設定された手書き情報Ｈは、動画データＡＤの画像Ｉ１（Ｄ１）〜画像Ｉ３が再生される際に再生画像とともに再生表示領域１０ａに表示される。
【００３３】
このように、各レイヤーＬ１〜Ｌ２を動画データＡＤにおける所望の画像に対応付けることにより、コメントＣや手書き情報ＨＮの描画及び消去のタイミングを任意に設定することができる。以下、レイヤーＬ１〜レイヤーＬ２を区別する必要のない時はレイヤーＬという。図６の例では、コメントＣ１〜Ｃ３は同じレイヤーＬ２に設定されているが、各コメントＣ１〜Ｃ３を異なるタイミングで入力し、例えばレイヤーＬ３にコメントＣ２、レイヤーＬ４にコメントＣ３を設定することもできる。これにより再生時にはコメントＣ１、コメントＣ２、コメントＣ３が順次表示されるようになる。
【００３４】
動画データＡＤの画像に対応付けられた複数のレイヤーＬの階層構造は、図６に示すように、後から入力された付加情報が設定されたレイヤーが上層となるように構成されるが、レイヤー順位は既存の画像処理システムにおけるレイヤー構造と同様に変更可能としてもよい。以下、動画データＡＤにおいて、付加情報の表示が開始される画像を表示開始画像、当該表示が終了する画像を表示終了画像というときがある。
【００３５】
行動分析支援システム１のハードウェア構成の概略について図７を用いて説明する。行動分析支援システム１は、カメラ２、モニタ３、マウス４、キーボード５、データ記憶部４０、及び制御部５０で構成される。制御部５０はＣＰＵ及びその動作に必要な記憶域を含みコンピュータとして構成され、主に、データ取得制御部５０ａ、データ記憶制御部５０ｂ、サムネイル画像生成部５０ｃ、動画再生部５０ｄ、及び付加情報処理部５０ｅとして機能する。
【００３６】
データ記憶部４０には、カメラ２によって取得された動画データＡＤに関する情報である取得画像データ６０が記憶された画像データ記憶部４０ａ、本発明を実現するためのコンピュータプログラム等が記憶されたプログラム記憶部４０ｂ、及び全体領域１０ｄに対応付ける画像に関する領域画像情報７０が記憶された領域画像記憶部４０ｃが含まれる。取得画像データ６０について図８を用いて説明する。取得画像データ６０は動画データＡＤ毎に生成されるデータである。本形態の取得画像データ６０においては、動画データＡＤの識別情報である動画ＩＤ６１に対して、動画データＡＤと、記録時情報６２と、付加再生情報６３が対応付けられている。記録時情報６２は動画データＡＤが記録された日時を示す情報である。
【００３７】
付加再生情報６３には、動画データＡＤに対応付けられた各レイヤーＬ１〜Ｌ２に対応するレイヤー１情報６４ａ〜レイヤー２情報６４ｂが対応付けられている。以下、レイヤー１情報６４ａ〜レイヤー２情報６４ｂを区別する必要のない時は「レイヤー情報６４」という。レイヤー情報６４には、設定情報と付加情報とが含まれる。設定情報には、動画データＡＤにおいてレイヤーＬが対応付けられる画像部分（以下「対応部分」という。）、及び階層順位等のレイヤー自体の設定情報が設定される。本形態では、対応部分は動画データＡＤを構成する画像フレームによって設定される。例えば、レイヤーＬ１の設定情報の場合は、動画データＡＤにおける画像Ｉ１に対応する画像フレームから画像Ｉ３に対応する画像フレームまでが対応部分として設定される。
【００３８】
付加再生情報には、コメントＣに関するコメント情報ＣＯＭ及び／又は手書き情報Ｈに関する情報である手書き入力情報ＨＮＤが設定される。本形態では、レイヤー１情報６４ａの付加情報に手書き情報Ｈに関する手書き入力情報ＨＮＤ１が対応付けられ、レイヤー２情報６４ｂの付加情報にコメントＣ１〜Ｃ３に関するコメント情報ＣＯＭ１〜ＣＯＭ３が対応付けられている。以下、コメント情報ＣＯＭ１〜ＣＯＭ３を区別する必要のない時は「コメント情報ＣＯＭ」という。
【００３９】
手書き入力情報ＨＮＤは、仮想ペンの軌跡を示す手書き軌跡情報及び消しゴムの軌跡を示す消しゴム軌跡情報で構成される。手書き軌跡情報は、座標配列情報とペン情報とで構成される。ペン情報は仮想ペンの太さ、色等を示す情報である。座標配列情報は、手書き入力の軌跡をマウス座標の配列として示す情報である。消しゴム軌跡情報は座標配列情報と消しゴム情報とで構成される。座標配列情報は、消しゴム入力の軌跡をマウス座標の配列として示す情報である。消しゴム情報は消しゴムの幅を示す情報である。
【００４０】
コメント情報ＣＯＭは、コメント枠情報とコメント内容情報とで構成される。コメント枠情報は、コメント枠２０の大きさ、色、形状、位置等を示す情報であり、コメント内容情報は、コメントとして表示する内容である。テキスト情報だけでなく、サムネイル画像１１の識別情報も設定可能である。なお、１つのレイヤー情報６４の付加情報に、手書き入力情報ＨＮＤ及びコメント情報ＣＯＭを設定することも可能である。
【００４１】
以下、動画の記録時に行われる記録時処理について、図９のフローチャートに従って説明する。本形態では、表示画像Ｄ１にて手書き情報Ｈが入力された場合について説明する。まず、ステップＳ１００にて、スタンバイ開始操作ＳＳＯの有無が判断される。例えば、基本画面１０の処理ボタン領域１０ｃにおけるスタンバイ開始用ボタンを選択することにより、スタンバイ開始操作ＳＳＯがあったと判断される。ステップＳ１００が否定判断された時は、記録時処理を終了し、肯定判断された時は、ステップＳ１０５に進む。ステップＳ１０５では、スタンバイ状態が開始される。スタンバイ状態とは、上述したように、バックグランド動画データＡＤｂａｃｋの記録が開始される。バックグランド動画データＡＤｂａｃｋは、例えば、データ記憶部４０に記憶されればよい。
【００４２】
続いて、ステップＳ１１０にて、動画記録の開始か否かが判断される。ユーザにより記録開始操作ＳＳＯがあった時に動画記録の開始と判断される。本形態では、カメラの記録ボタンが押されると記録開始操作と判断される。ステップＳ１１０では、肯定判断されるまで記録開始操作待ち状態となり、肯定判断された場合はステップＳ１１５へ進み、記録処理が開始される。記録処理には、例えば、記録日時情報６２の設定処理、及び記録開始のフラグを立てる処理等がある。また、記録開始操作後に取得されるバックグランド動画データＡＤｂａｃｋが再生されて再生表示部１０ａに表示される。続いて、ステップＳ１２０へ進み、手書き処理を開始するか否かが判断される。本形態では、マウス４の左ボタンが所定時間以上押下されると、手書き処理開始と判断される。
【００４３】
ステップＳ１２０にて否定判断された時は、ステップＳ１４０へ進み、肯定判断された時は、ステップＳ１２５に進む。ステップＳ１２５では、手書き入力情報ＨＮＤ１が設定されるレイヤーＬ１が設定される。例えば、表示画像Ｄ１が表示された時にマウス４の左ボタンが所定時間以上押下された場合は、レイヤーＬ１の設定情報には表示画像Ｄ１に対応する画像Ｉ１の画像フレームが表示開始画像として設定される。また、階層順位には「１」が設定される。
【００４４】
続いて、ステップＳ１３０に進み、手書き処理が行われる。手書き処理では、表示画像が拡大され、マウス４のドラッグ操作があると、マウス４の移動に伴って変化するマウス座標を座標配列情報として取得する。入力の際に表示画像が拡大されるため、手書き入力が容易である。手書き入力される際にマウス４が仮想ペンとして設定される場合は手書き入力軌跡情報が生成され、消しゴムとして設定される場合は消しゴム軌跡情報が設定される。なお、仮想ペンとしての太さや色の設定は、不図示の仮想ペン属性画面を開いて任意の時に設定することができる。ステップＳ１３５では、手書き処理が終了か否かが判断される。本形態では、マウス４の左ボタンが押下状態でなくなると、手書き処理が終了と判断される。ステップＳ１３５が肯定判断されない限り、手書き処理が継続され、肯定判断されると、ステップＳ１４０へ進む。
【００４５】
ステップＳ１４０では、動画記録を終了するか否かが判断される。所定の記録終了操作があった時に、動画記録を終了すると判断される。例えば、カメラ２の記録終了ボタンを押すことにより、動画記録を終了すると判断される。ステップＳ１４０にて否定判断された時は、ステップＳ１２０へ戻り、肯定判断された時はステップＳ１４５へ進む。ステップＳ１４５では、取得画像データ６０が生成される。取得画像データ６０の動画データＡＤには、記録開始時の約１５秒前から記録終了時までに記録されたバックグランド動画データＡＤｂａｃｋが設定される。動画ＩＤ６１には、動画データＡＤに固有に付与される識別情報を設定する。
【００４６】
付加再生情報６３には、手書き処理にて生成された手書き入力情報ＨＮＤ１が付加情報として、設定情報と共にレイヤー１情報６４ａに設定される。手書き入力情報ＨＮＤ１は、ステップＳ１３０にて生成された手書き軌跡情報及び消しゴム軌跡情報を時系列に配列することにより生成される。ペン情報及び消しゴム情報は、所望の設定を記録時処理前に設定しておけばよい。なお、記録時情報６２はステップＳ１１５にて設定される。生成された取得画像データ６０はデータ記憶部４０に記憶される。
【００４７】
また、レイヤー１情報６４ａの設定情報において、表示終了画像としての画像フレームは、例えば、動画データの記録中に所定の消去操作（例えば、処理ボタン領域１０ｃの所定ボタンの選択）を行ったタイミングに対応する画像フレームを設定すればよい。当該消去操作をしない場合は、取得された動作データＡＤの最後の画像フレームを表示終了画像として設定情報に設定される。
【００４８】
取得画像データ６０の生成後、ステップＳ１５０に進み、動画データＡＤに基づいてサムネイル画像１１が生成され、サムネイル表示領域１０ｂに表示される。その後、ステップＳ１５５に進み、スタンバイ状態を終了するか否かが判断される。スタンバイ終了操作ＳＥＯがあると、スタンバイ状態を終了すると判断される。例えば、基本画面１０の処理ボタン領域１０ｃにおけるスタンバイ終了用ボタンが選択されると、スタンバイ終了操作ＳＥＯと判断される。ステップＳ１５５にて、肯定判断された時は記録時処理を終了し、否定判断された時はステップＳ１１０に戻り、次の動作データの取得のための処理が行われる。記録時処理の終了時には、記録時処理にて生成された一連の取得画像データ６０を１つの画像データ群として例えば、画像データ群を識別するデータ群識別情報が設定される。
【００４９】
記録時処理の終了後、取得データ６０を再生し、所望の画像にコメントＣを付加することが可能である。動画データＡＤにコメントＣを付加する記録後処理について、図１０のフローチャートに従って説明する。まず、ステップＳ２００にて、サムネイル表示領域１０ｂに表示されているサムネイル画像１１から所望のサムネイル画像１１を選択する。例えば、所望ののサムネイル画像１１にポイントをあててマウス４のボタンをクリックすることにより、サムネイル画像１１が選択される。続いてステップＳ２０５に進み、選択されたサムネイル画像１１に対応する動画データＡＤの再生が再生表示部１０ａにて開始される。次にステップＳ２１０にて画像ストップ操作があったか否かが判断される。ステップＳ２１０にて肯定判断されるまで、動画データＡＤの再生状態が継続される。例えば、表示画像Ｄ２で画像ストップ操作がされた場合、ステップＳ２１０にて肯定判断され、ステップＳ２１５へ進む。
【００５０】
ステップＳ２１５ではコメント生成操作の有無が判断される。例えば、処理ボタン領域１０ｃのコメント生成用ボタンが選択されるとコメント生成操作があったと判断される。ステップＳ２１５にて肯定判断されるまで、画像ストップ状態が継続し、肯定判断されると、ステップＳ２２０に進んでコメント生成処理が行われる。コメント生成処理では、再生表示領域１０ａにてストップされた状態で表示されている表示画像Ｄ２に対して対応付けられるコメント情報ＣＯＭが生成される。コメント生成処理については後述する。コメント生成処理が終了すると、ステップＳ２２５に進み、記録後処理を終了するか否かが判断される。所定の処理終了処理があった時は記録後処理を終了し、処理終了処理がない時はステップＳ２０５へ戻る。
【００５１】
コメント生成処理において行われる処理について、図１１のフローチャートに従って説明する。本形態では、レイヤーＬ２に対応付けられたコメント情報ＣＯＭ１〜ＣＯＭ３を生成するコメント生成処理について説明する。まず、ステップＳ３００にて、コメント情報ＣＯＭ１が設定されるレイヤーＬ２が設定される。レイヤーＬ２のレイヤー２情報６４ｂの設定情報に、再生表示領域１０ａに表示されている表示画像Ｄ２に対応する画像Ｉ２の画像フレームが表示開始画像として設定される。また、階層順位に「２」が設定される。ステップＳ３１０へ進み、基本画面１０上にコメント編集画面が開かれる。コメント編集画面は、ユーザによりコメント情報ＣＯＭのコメント内容情報及びコメント枠情報が設定可能なように構成された画面である。
【００５２】
例えば、コメント編集画面に表示されたコメント内容情報設定用ボタンを選択することにより、コメント内容情報の設定状態となる。コメント内容情報として、キーボード５によってキー入力されるテキスト情報の他、サムネイル画像１１が設定可能である。例えば、コメント内容情報の設定状態の時にサムネイル表示領域１０ｂにおいて所望のサムネイル画像１１がマウス４で選択されると、選択されたサムネイル画像１１に対応する動画ＩＤ６１がコメント内容情報に設定される。
【００５３】
コメント枠情報には、コメント枠２０の色、大きさ、透明度、形状、位置等を設定することができる。例えば、コメント編集画面に表示されたコメント枠情報設定ボタンを選択すると、コメント枠情報の現在の設定状態が表示され、所望の項目を変更することができる画面が表示される。続いて、ステップＳ３２０にて、終了操作の有無が判断される。たとえば、コメント編集画面において「ＯＫ」ボタンが選択された時、終了操作があったと判断される。
【００５４】
ステップＳ３２０にて肯定判断されるまで、コメント編集画面にてコメント情報の設定処理が可能であり、例えば、コメントＣ１と同様にコメントＣ２及びコメントＣ３を入力すればよい。ステップＳ３２０にて肯定判断された時はステップＳ３３０へ進む。ステップＳ３３０では、コメント編集画面にて設定されたコメント内容情報及びコメント枠情報で構成されるコメント情報ＣＯＭ１、コメント情報ＣＯＭ２、及びコメント情報ＣＯＭ３が生成され、レイヤー２情報６４ｂに追加される。コメント情報ＣＯＭ１〜ＣＯＭ３の生成後、ステップＳ３４０へ進み、レイヤー描画処理が行われる。レイヤー描画処理では、処理対象のレイヤーＬに設定された付加情報が再生される。レイヤー描画処理については後述する。レイヤー描画処理の終了後、コメント生成処理を終了する。なお、本形態のコメント生成処理では、レイヤーＬ２の設定情報に表示終了画像を設定しないため、表示終了画像として、処理対象の動画データＡＤの最終画像Ｉ６の画像フレームが設定される。表示終了画像を設定するときは、例えば、ステップＳ３００のレイヤー設定時に、レイヤーＬ１と同様の消去操作を行うことにより、レイヤーＬ２の設定情報に所望の表示終了画像を設定してもよい。
【００５５】
なお、コメント生成後に、特定のレイヤーＬを指定することにより、レイヤーＬに対応付けられたコメント情報ＣＯＭを再生表示領域１０ａに表示させ、処理対象のコメントを選択することにより、コメント編集画面にて対応するコメント情報ＣＯＭの設定変更を行うことがでできる。また、再生表示領域１０ａに表示されているコメントＣをマウス４でドラッグすることにより、コメントＣの位置を移動させることも可能である。更に、手書き入力も、例えば、ステップＳ２１５にて否定判断された後に、手書き入力開始操作の有無を判断し、手書き入力開始操作があった時は、手書き入力操作を受け付け、手書き入力情報ＨＮＤを生成する処理を設けてもよい。
【００５６】
レイヤー描画処理について図１２のフローチャートに従って説明する。レイヤー描画処理は、処理対象のレイヤーＬに対応付けられている付加情報、即ち手書き情報Ｈ及び／又はコメントＣが描画される際に行われる処理である。なお、手書き情報ＨやコメントＣが更新された場合は、更新された領域を検出して、当該領域のみに対して、レイヤー描画処理が行われる。
【００５７】
まず、ステップＳ４００にて、処理対象のレイヤーに手書き入力情報ＨＮＤが対応付けられているか否かが判断される。ステップＳ４００にて否定判断された時は、ステップＳ４５０へ進み、肯定判断された時はステップＳ４０５へ進む。以下、ステップＳ４０５〜ステップＳ４４０は手書き入力情報ＨＮＤを描画するための処理である。ステップＳ４０５では、手書き入力情報ＨＮＤに含まれる消しゴム軌跡情報を参照することにより、全ての消しゴム領域を無効状態に設定する。消しゴム領域とは、ユーザが仮想消しゴムを移動させた領域であり、消しゴム軌跡情報に設定されている領域である。無効状態とは、手書き軌跡情報により、手書き入力の軌跡情報が存在する領域であっても当該軌跡が描画されない状態をいう。
【００５８】
次に、ステップＳ４１０にて、手書き入力情報ＨＮＤに含まれる軌跡情報をすべて処理したか否かが判断される。ステップＳ４１０にて肯定判断された時は手書き入力情報ＨＮＤは表示済みと判断し、ステップＳ４５０へ進む。ステップＳ４１０にて否定判断された時は、ステップＳ４２０へ進み、軌跡情報の種類を判別する。手書き軌跡情報の場合は、ステップＳ４３０へ進んで手書き軌跡を描画する。なお、この場合、無効領域には手書き軌跡は描画されない。
【００５９】
ステップＳ４２０にて、消しゴム軌跡情報と判別された時は、ステップＳ４４０に進み、処理対象の消しゴム軌跡情報に対応する消しゴム領域の無効状態を解除する。無効状態を解除するとは、解除された後は、手書き入力の軌跡情報に基づいて手書き入力が描画される状態に戻ったことをいう。ステップＳ４３０又はステップＳ４４０の処理終了後、次の軌跡情報について処理を行うためにステップＳ４１０へ戻る。
【００６０】
ステップＳ４５０では、コメント情報ＣＯＭが処理対象のレイヤーＬに対応付けられているか否かが判断される。ステップＳ４５０にて否定判断された時は、レイヤー描画処理を終了し、肯定判断された時はステップＳ４５５へ進み、コメント描画処理が行われる。コメント描画処理では、処理対象のレイヤーＬに対応付けられたコメント情報ＣＯＭに基づいて、コメントＣを表示する。コメントＣの表示後、レイヤー描画処理を終了する。
【００６１】
更に、行動分析システム１においては、図１３に示すように、サムネイル領域１０ｂにおいて、サムネイル画像１１間の関連性に関するメモ書き情報Ｍ１や、表示画像とサムネイル画像１１との関連性に関するメモ書きＭ２を入力することも可能である。本形態では、再生表示領域１０ａとサムネイル表示領域１０ｂとを合わせた全体領域１０ｄの少なくとも一部の領域に、表示情報を対応付けられるレイヤーＬａ（以下「領域レイヤーＬａ」という。）を設定可能である。所定の領域に設定された領域レイヤーＬａにメモ書きＭ１、Ｍ２を設定することにより、メモ書きＭ１、Ｍ２を設定した領域１０ｄ上に表示させることができる。本形態では、全体領域１０ｄに対応付けられた領域レイヤーＬａにメモ書きＭ１、Ｍ２を設定する領域レイヤー処理について図１４に示すフローチャートに従って説明する。領域レイヤー処理は制御部５０によって制御される。
【００６２】
領域レイヤー処理は、記録後処理において領域レイヤー処理を開始する操作がユーザによってされることにより開始される。例えば、処理ボタン領域１０ｃにおける領域レイヤー処理開始用ボタンが選択されると領域レイヤー処理の開始と判断される。なお、領域レイヤー処理は、制御部５０によって制御される。領域レイヤー処理では、まず、ステップＳ５００にて、全体領域１０ｄ上に対応付けられた領域レイヤーＬａを設定する。当該設定は、例えばユーザが所望の領域をマウス４で指定することにより、設定されてもよいし、予め全体領域１０ｄに対応付けられた領域レイヤーＬａが用意されていてもよい。続いてステップＳ５１０にて、領域付加情報入力処理が行われる。本形態の領域付加情報入力処理では、ユーザによる手書き入力操作を受け付け、当該手書き入力操作に基づいて、メモ書きＭ１、Ｍ２のそれぞれに対応する手書き入力情報ＨＮＤが生成される。
【００６３】
なお、領域付加情報入力処理では、コメントＣの入力を受け付けてコメント情報ＣＯＭが生成されてもよい。次に、ステップＳ５２０にて生成された領域付加情報としての手書き入力情報ＨＮＤを領域レイヤーＬａに設定する。領域レイヤーＬａに対応する領域と手書き入力情報ＨＮＤとが設定された情報は、領域画像情報７０として領域画像記憶部４０ｃに記憶される。これにより、制御部５０は領域付加設定部として機能する。
【００６４】
以後、例えば、ユーザによって、領域レイヤー表示開始操作が行われ、領域画像情報７０が指定されると、制御部５０によって領域画像情報７０が参照され、領域レイヤーＬａに対応付けられた手書き入力情報ＨＮＤに基づいてメモ書きＭ１、Ｍ２が全体領域１０ｄ上に描画される。これにより、制御部５０は領域レイヤー表示制御部として機能する。このように、サムネイル画像１１間の関係や表示画像とサムネイル画像１１との関係を手書き入力操作によって簡単に入力することができ、当該関係を後からでも確認することができる。領域画像情報７０の指定は、例えば、領域画像情報７０に対応するファイル名を指定すればよい。
【００６５】
最後に、行動分析支援システム１における検索機能について説明する。行動分析支援システム１においては、キーワードで検索することにより、キーワードに関連した動画データＡＤを集めることができる。当該検索機能を実現する検索処理について図１５に示すフローチャートに従って説明する。検索処理はユーザによって所定の検索開始操作がされることにより開始される。なお、検索処理は制御部５０によって制御される。
【００６６】
まず、ステップＳ６００にて、検索キーワードを設定する。例えば、検索開始操作をすることにより、検索キーワード入力画面が表示され、当該画面に入力すればよい。次に、ステップＳ６１０に進み、画像データ記憶部４０ａに記憶された取得画像データ６０群に対して、設定された検索キーワードを有するコメント内容情報を検索する。これにより、制御部５０は検索部として機能する。検索対象の取得画像データ６０群は、画像データ記憶部４０ａに記憶されているすべての取得画像データ６０であってもよいし、所望の画像データ群のデータ群識別情報を指定することにより、当該識別情報にて対応付けられた取得画像データ６０群であってもよい。続いて、ステップＳ６２０では、検索された各コメント内容情報について、対応する動画データＡＤを抽出し、サムネイル画像１１にしてサムネイル表示領域１０ｂに表示する。
【００６７】
このように、検索処理によって、所望のキーワードに関する動画データＡＤをサムネイル表示領域１０ｂに一覧することができ、ユーザは、一覧表示された複数のサムネイル画像１１間の関連性を分析したり、更に所望の動画データＡＤを選択して再生表示領域１０ａに表示させ、当該動画データＡＤの動画に基づいた分析処理を進めることができる。
【００６８】
なお、キーワード設定において、コメント枠の色が指定されることにより、コメント情報ＣＯＭのコメント枠情報が検索され、指定された色のコメント枠が設定されたコメント枠情報を有するコメント情報ＣＯＭが対応付けられた動画データＡＤが検索されてもよい。更に、例えば仮想ペンの色を指定することにより、手書き入力情報ＨＮＤのペン情報が検索され、指定された色に設定されたペン情報を有する手書き入力情報ＨＮＤが対応付けられた動画データＡＤが検索されてもよい。
【００６９】
本発明は上述の形態に限らず種々の形態にて実施されてよい。例えば、タッチパネルを備えたタブレットＰＣの場合、タッチペンにより手書き入力操作を行ってもよい。この場合、マウス４の左ボタン押下操作はタッチペンで画面に触れる操作に対応し、マウス４の移動はタッチペンを画面上で移動させる操作に対応し、マウス４の左ボタン押下を解除する操作はタッチペンを画面から離す操作に対応する。また、記録後処理において記録された動画データＡＤの所望箇所を削除する機能を備えてもよい。
【００７０】
本形態では、スタンバイ開始操作ＳＳＯからスタンバイ終了操作ＳＥＯがあるまでに取得された複数の動画データＡＤのそれぞれが、サムネイル表示領域１０ｂの各サムネイル画像１１として表示されるが、サムネイル画像１１に表示される動画データＡＤを動画ＩＤ６１によって指定可能なように構成し、動画データＡＤを取得した時間や場所とは関係なくサムネイル領域１０ｂに表示できるように設定してもよい。また、記録中、再生中にユーザの操作により特定の画像を静止画としてキャプチャーするキャプチャー機能をを備えていてもよい。行動分析の対象者は、スポーツ選手、所定の作業を行う作業員や患者等であってもよい。また、動物や移動体であってもよい。
【図面の簡単な説明】
【００７１】
【図１】本発明の行動分析支援システムの構成の一例を示す図。
【図２】モニタに表示される基本画面の一例を示す図。
【図３】取得される動画データと基本画面との関係を示す図。
【図４】表示画像に手書き入力されたようすを示すフローチャート。
【図５】表示画像にコメントが入力されたようすを示すフローチャート。
【図６】動画データに対応付けられる付加情報のレイヤー構造を示すフローチャート。
【図７】図１に示す行動分析支援システムのハードウェア構成の概略を示す図。
【図８】取得画像データのデータ構造を示す図。
【図９】記録時処理において行われる処理の流れを示すフローチャート。
【図１０】記録後処理において行われる処理の流れを示すフローチャート。
【図１１】コメント生成処理において行われる処理の流れを示すフローチャート。
【図１２】レイヤー描画処理において行われる処理の流れを示すフローチャート。
【図１３】領域付加情報が全体領域に入力されたようすを示す図。
【図１４】領域レイヤー処理において行われる処理の流れを示すフローチャート。
【図１５】検索処理において行われる処理の流れを示すフローチャート。
【符号の説明】
【００７２】
１ 行動分析支援システム
２ カメラ（画像取得部）
３ モニタ（画像表示部）
４ マウス
５ キーボード
４０ データ記憶部
４０ａ 画像データ記憶部
５０ 制御部
５０ａ データ取得制御部
５０ｂ データ記憶制御部
５０ｃ サムネイル画像生成部
５０ｄ 動画再生部
５０ｅ 付加情報処理部
【技術分野】
【０００１】
本発明は、動画像に基づいた行動分析ツールとして利用される行動分析支援システム及び行動分析支援プログラムに関する。
【背景技術】
【０００２】
児童やスポーツ選手の行動分析のために、記録した動画像を利用する方法は周知である。取得された動画像データの編集を容易にするシステムは知られている（例えば、特許文献１及び特許文献２参照。）。しかし、例えば行動分析者が一人で動画像を撮影する場合、撮影機材の撮影の操作のために、撮影中に注目すべき行動に気付いても、その行動に関するメモをノートやパソコンに記録することは困難である。このため、撮影中に残しておきたいコメントを音声情報として記録する方法は既に知られている（例えば、非特許文献１参照）。
【特許文献１】特開２００４−１９３９３４号公報
【特許文献２】特開２００４−５３４４５８号公報
【非特許文献１】刑部育子、戸田真志、”Ｓｃｅｎｅ−Ｃｏｍｍｅｎｔａｒｙ Ｄｅｖｉｃｅ： Ａ Ｔｏｏｌ ｆｏｒ ｔｈｅ Ｉｍｍｅｄｉａｔｅ Ｒｅｆｌｅｃｔｉｏｎ ｏｖｅｒ Ｏｂｓｅｒｖｅｄ Ｅｐｉｓｏｄｅｓ、 Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｗｏｒｌｄ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｄｕｃａｔｉｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ， Ｈｙｐｅｒｍｅｄｉａ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ２００８”、 米国、 ２００８年、Ｐ．５６３５−５６３９
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、単に記録された動画像を再生して当該再生画像に基づいて分析を行う従来方法においては、動画像の見直し、重要な出来事の抽出、当該出来事の文字情報化、及び分析結果の生成、といった作業が必要となり、分析結果が生成されるまでに一般に記録時間の約１０倍の時間がかかる。特に、記録時間が長い場合は、重要な出来事の抽出のために記録された動画像を一から見直さなければならず、分析者の負担は多大となる。一方、音声情報を動画像と共に記録する方法は、記録される情報量に限りがあり、また、多くの被写体が撮影されている場合、動画像と音声情報との対応関係が直観的にわかりにくいため、音声情報の確認のために動画像を何度も再生しなければならないといった問題がある。
【０００４】
そこで、本発明は、容易な操作で行動分析に要する時間を短縮する行動分析ツールとして機能する行動分析支援システム及び行動分析支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、以下の手段により上述した課題を解決する。なお、本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記するが、それにより本発明が図示の形態に限定されるものではない。
【０００６】
本発明の行動分析支援システム（１）は、所定の動体の動画データを取得する動画取得部（２）と、前記動画取得部によって取得された動画データを記憶する画像記憶部（４０ａ）と、複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部（１０）と、前記動画取得部によって取得される動画データに関する処理を制御する制御部（５０）と、ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、を備えた行動分析支援システムであって、前記制御部は、ユーザによる取得開始操作と取得終了操作に応じて前記動画データを前記動画取得部を介して取得するデータ取得制御部（５０ａ）と、前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部（５０ｄ）と、前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付ける付加情報処理部（５０ｅ）と、前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部（５０ｂ）と、前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して前記サムネイル表示領域に一覧表示するサムネイル画像生成部（５０ｃ）と、を有し、前記サムネイル画像生成部は、前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示する、ことにより上記の課題を解決する。
【０００７】
本発明の行動分析システムによれば、まず、データ取得制御部により、各動画データは、ユーザの取得開始操作及び取得終了操作に応じて取得されるので、ユーザは所望のタイミングで動画データの取得開始及び終了のタイミングを指定することができる。従って、ユーザは、被分析者がいる現場で留意すべきシーンのみを動画データとして取得しておくことができる。そして、付加情報処理部によって再生中の画像に対してユーザによって入力された付加情報を対応付けることができ、付加情報はデータ記憶制御部によって動画データとともに取得画像データとして記憶される。更に、サムネイル画像生成部によって、取得された複数の動画データのそれぞれはサムネイル画像として一覧表示され、当該再生時には付加情報も対応する画像とともに再生される。
【０００８】
「表示された画像に視覚的に付加する付加情報」は、所定の画像上に付加可能な周知の視覚的情報でであればよく、例えば、再生表示領域に表示される画像に対してタッチペン等による手書き入力情報や、当該画像の任意の位置に対してキーボード等によって入力するテキスト情報等がある。特に、手書き入力を採用した場合は、ユーザは動画の取得中にその取得している画像上にメモ書きをする感覚で付加情報を任意の位置に容易に入力することができる。更に、一連の動画データを取得した後は、各動画データのサムネイル画像を一覧して見ることができる。各サムネイル画像では留意すべき行動のシーンがメモ書きとしての付加情報付きで再生されるので、動画取得時の記憶を思い出しやすく、また、各行動の関連性や特徴も見出しやすくなる。ユーザは行動の特徴を文字ではなく実際の行動シーンである複数の動画像を一度に見て分析できるので、特に分析者の直観や経験に基づいた分析を支援することができる。
【０００９】
「所定の動体」は動きのあるものであればよく、人、生物、物など問わない。付加情報を特定の画像に対応付ける態様には、例えば、動画データを構成する複数の画像フレームのうち対応付けるべき画像の画像フレームに対して付加情報を対応付ける場合と、動画データの再生を開始してから対応付けるべき画像が表示されるまでの再生経過時間に付加情報を対応付ける場合とがある。操作入力部は、マウス、キーボート等のユーザが直接操作する操作部材から発信される操作信号を受け付けて制御部へ送る構成であればよい。
【００１０】
前記動画再生部は、前記サムネイル表示領域に表示された複数のサムネイル画像の中から、ユーザによって選択されたサムネイル画像に対応する動画データを再生して前記再生表示領域に表示してもよい。
【００１１】
これにより、サムネイル画像の一覧から所望の動画データを選択して、当該動画データを再生表示領域に表示させることができる。再生表示領域に表示された画像に対しては付加情報処理部により付加情報を付加することができるので、例えば、動画データ取得後に十分検討した分析内容を付加情報として付加することができる。行動内容を文字で表現することなく取得した画像を利用して分析内容を付加できるため、行動分析を行うユーザの負担を軽減化することができる。
【００１２】
前記各取得画像データの動画データには、少なくとも１つのレイヤーを対応付け可能であり、前記付加情報処理部は、前記付加情報が入力される際に前記表示された画像にレイヤーを対応付け、その対応付けられたレイヤーに前記付加情報を設定して前記画像記憶部に記憶し、前記動画再生部及び前記サムネイル画像生成部は、前記画像を再生する際に、前記表示された画像と共に、その画像に対応付けられたレイヤーに設定された付加情報を、前記再生表示領域に表示してもよい。
【００１３】
これにより、付加情報をレイヤー構造にて動画データに対応付けることができる。レイヤー毎に同じ表示タイミングで表示されるべき付加情報を設定しておけば、レイヤー単位で付加情報の表示タイミングを制御することができる。また、時間経緯に従って、異なるレイヤーを設定可能であるので、時々刻々変化する出来事に対応したメモ書きをすることができる。
【００１４】
前記サムネイル表示領域及び前記再生表示領域を合わせた全体領域の少なくとも一部の領域に表示する画像に関する情報である領域画像情報を記憶する領域画像記憶部（４０ｃ）と、前記領域画像情報は少なくとも１つの領域レイヤーにて構成され、前記制御部は、前記少なくとも一部の領域に対応付けられた領域レイヤーを設定し、前記少なくとも一部の領域に対してユーザによって入力される領域付加情報を、前記領域レイヤーに設定して前記領域画像情報として記憶する領域付加情報設定部（５０）と、ユーザによって前記領域レイヤーが指定されると、前記領域画像記憶部を参照して、前記領域レイヤーに設定された前記領域付加情報を、前記領域レイヤーが対応する前記少なくとも一部に表示する領域レイヤー表示制御部（５０）とを有してもよい。
【００１５】
これにより、再生表示領域及びサムネイル表示領域上に領域レイヤーを設定でき、再生表示領域及びサムネイル表示領域を問わず、自由にコメントの設定やメモ書きをすることができる。例えば、複数のサムネイル画像間の関連性を示す情報や再生表示領域に表示されている動画像といずれかのサムネイル画像との関連性を示す情報を領域付加情報として手書き入力することができ、ユーザの操作に応じて画像表示部に表示させることができる。領域レイヤーと少なくとも一部の領域との対応付けは、例えば、ユーザの操作によって当該領域が設定されてもよいし、予め、所定の領域に対応付けられた複数種類の領域レイヤーが用意されていてもよい。領域付加情報が入力される方法は、全体領域における任意の位置に領域付加情報が入力できる方法であればよく、例えば、タッチペン等により直接所望の位置に手書き入力される方法や、入力位置を指定して入力すべき領域付加情報がキーボードによって入力される場合とがある。
【００１６】
前記付加情報はテキスト情報と前記テキスト情報を配置する位置情報で構成され、 前記制御部は、前記ユーザによって、所望のキーワードが指定されると、前記テキスト情報を検索して、前記キーワードを含むテキスト情報が対応付けられた動画データを検出する検出部（５０）を更に有し、前記サムネイル画像生成部は、前記検出部によって検出された動画データから前記サムネイル画像を生成して前記サムネイル表示領域に表示してもよい。
【００１７】
これにより、複数の動画データを取得した場合であっても、所望のキーワードと関連のある動画データの検索を容易にすることができる。検索された動画データはサムネイル画像として一覧されるため、所望の１つのサムネイル画像を選択すれば、動画再生部により、選択されたサムネイル画像に対応する動画データの再生画像を再生表示領域に表示することができる。
【００１８】
また、前記付加情報は、手書き入力操作の軌跡情報であり、前記動画再生部及び前記サムネイル画像生成部は、前記画像フレームに対応する画像の表示とともに、前記軌跡情報に従った表示を開始してもよい。
【００１９】
前記データ取得制御部は、ユーザによりスタンバイ操作があると、前記動画取得部によってバックグラウンド動画データの取得を開始して前記画像記憶部に記憶し、前記取得終了操作があると、前記バックグラウンド動画データのうち、前記取得開始操作がされた時から所定時間遡った時から前記取得終了操作がされた時までに対応する部分を、前記動画データとして取得してもよい。
【００２０】
これにより、取得開始操作時の所定時間前からの動画データが取得画像データとして記憶されるため、取得開始操作が遅れた場合であっても、所定時間前からの行動を動画データとして取得することできる。従って、行動観察者が特徴のある行動に気付いてから取得開始操作を行うまでのタイムラグを解消することができる。
【００２１】
本発明の行動分析支援プログラムは、所定の動体の動画データを取得する動画取得部と、前記動画取得部によって取得された動画データを記憶する画像記憶部（４０ａ）と、複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部（３）と、前記動画取得部によって取得される動画データに関する処理を制御する制御部（５０）と、ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、を備えたコンピュータを機能させる行動分析支援プログラムであって、前記制御部を、ユーザによる取得開始操作と取得終了操作に応じて前記動画データを前記動画取得部を介して取得するデータ取得制御部（５０ａ）と、前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部（５０ｄ）と、前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付ける付加情報処理部（５０ｅ）と、前記開始操作と前記終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部（５０ｂ）と、前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して前記サムネイル表示領域に一覧表示するサムネイル画像生成部（５０ｃ）と、して機能させ、前記サムネイル画像生成部に、前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示させることにより、上記の課題を解決する。本発明の行動分析支援プログラムを、コンピュータに実行させることにより、行動分析支援システムとして実現することができる。
【発明の効果】
【００２２】
上述したように、本発明によれば、ユーザの操作に応じて所定の動体の動画データを取得し、取得中の画像における任意の位置に対してユーザによる付加情報の入力を受け付け、その入力された付記情報を前記位置を示す位置情報とともに付加情報として画像に対応付け、取得された複数の動画データのサムネイル画像を一覧表示し、各サムネイル画像では付加情報とともに再生画像が表示されることにより、容易な操作で行動分析に要する時間を短縮する行動分析ツールとして機能する行動分析支援システム等を提供することができる。
【発明を実施するための最良の形態】
【００２３】
図１は、本発明の行動分析支援システム１の構成の一例を示す図である。行動分析支援システム１は、カメラ２と、モニタ３ａを有するタブレットＰＣ３と、マウス４とで構成される。タブレットＰＣ３に情報を入力する方法には、マウス４によるマウス入力と不図示のキーボードによるキー入力がある。カメラ２は小型なハンディカメラが望ましく、また、カメラ２及びマウス４はタブレットＰＣに対して無線接続される態様が好適である。
【００２４】
なお、本形態では、マウス４の操作に基づいて動作する仮想ペンによる入力が可能である。これにより、マウス４は、タッチパネルとしてのモニタ３ａに手書き入力可能なタッチペンの代替手段として機能する。以下、マウス４の位置をモニタ３ａ上の位置に対応させた位置情報を「マウス座標」という。本形態では、カメラ２によって動体としての複数の児童の行動を記録し、行動分析支援システム１が児童の行動分析支援ツールとして使用される場合について説明する。
【００２５】
まず、本形態のモニタ３ａに表示される基本画面１０について図２を用いて説明する。基本画面１０は、カメラ２によって記録中の動画データの再生画像が表示される再生表示領域１０ａと、複数のサムネイル画像１１…１１が一覧表示されるサムネイル表示領域１０ｂと、処理ボタン領域１０ｃとで構成される。再生表示領域１０ａには記録中の動画データの再生画像又は記録した動画データの再生画像が表示される。各サムネイル画像１１には、取得された複数の動画データのそれぞれが縮小化された状態で再生表示される。処理ボタン領域１０ｃには複数の処理ボタンが表示され、目的の処理ボタンにポイントをあわてマウス４をクリックすることにより目的の処理ボタンが選択される。以下、再生表示領域１０ａとサムネイル表示領域１０ｂを合わせた領域を全体領域１０ｄという。
【００２６】
本形態の動画データは、ユーザにより記録開始操作がされてから記録終了操作がされるまでに取得される動画像のデータを１つの単位としたデータである。従って、図３が示すように、記録開始操作ＳＯ１から記録終了操作ＥＯ１までに記録された動画データは動画データＡＤ１として生成され、記録開始操作ＳＯ２から記録終了操作ＥＯ２までに記録された動画データは動画データＡＤ２として生成され、記録開始操作ＳＯ３から記録終了操作ＥＯ３までに記録された動画データは動画データＡＤ３として生成され、記録開始操作ＳＯ４から記録終了操作ＥＯ４までに記録された動画データは動画データＡＤ４として生成される。動画データＡＤ１〜動画データＡＤ４のそれぞれは、サムネイル画像１１としてサムネイル表示領域１０ｂに生成された順に順次表示される。図３の例では、再生表示領域１０ａに、記録中の動画データＡＤ５の再生画像が表示されている。なお、サムネイル表示領域１０ｂに表示されたサムネイル画像１１のうち、ユーザにより選択されたサムネイル画像１１の再生画像も再生表示部１０ａに表示させることができる。
【００２７】
以下、記録開始操作ＳＯ１〜ＳＯ４を区別する必要がない時は、「記録開始操作ＳＯ」といい、記録終了操作ＥＯ１〜ＥＯ４を区別する必要がない時は、「記録終了操作ＥＯ」といい、動画データＡＤ１〜ＡＤ４を区別する必要がない時は、「動画データＡＤ」という。
【００２８】
本形態においては、動画を記録する際に、まずスタンバイ開始操作ＳＳＯが要求される。スタンバイ開始操作ＳＳＯが行われると、行動分析支援システム１はスタンバイ状態となり、バックグランドでの動画データＡＤ（以下「バックグランド動画データＡＤｂａｃｋ」という。）の記録を開始する。そして、スタンバイ終了操作ＳＥＯがあるまでバックグランド動画データＡＤｂａｃｋを記録し続ける。一方、ユーザによって記録開始操作ＳＯがあると、記録開始操作ＳＯから記録終了操作ＥＯまでに対応するバックグランド動画データＡＤｂａｃｋを動画データＡＤとして生成する。なお、本形態では、記録開始操作ＳＯがされたタイミングよりも約１５秒前から記録終了操作ＥＯがされるまでのバックグランド動画データＡＤｂａｃｋ を取得された動画データＡＤとする。これにより、重要シーンが観察者に認識されて実際に記録開始操作ＳＯが行われるまでのタイムラグを解消することができる。
【００２９】
記録中または編集中に再生表示部１０ａに表示された画像（以下「表示画像」という。）に対して、ユーザは覚書きや注意点等を記した付加情報を付加することができる。当該付加情報について図４及び図５を用いて説明する。付加情報には、手書き入力により入力される手書き情報とキーボードを介してキー入力により入力されるコメントがある。まず、手書き情報について図４を用いて説明する。行動分析支援システム１では、上述したようにマウス４の操作により、表示画像に対して仮想ペンによる手書き入力が可能である。図４では、再生表示領域１０ａに表示される表示画像Ｄ１に対して、“たくやくんつよい口調”の手書き情報Ｈが付加情報として手書き入力された状態が示されている。この手書き機能は既存の手書き入力システムを採用すればよい。手書き入力機能により、文字列だけでなく所望の記号や図形を手書き情報Ｈとして表示画像Ｄ１の任意の位置にメモ書きの感覚で入力可能である。このように、手書き入力機能は、特に記録中の表示画像に対するメモ書き機能として有効である。なお、仮想ペンの太さ、色等の属性は任意に設定可能である。
【００３０】
キー入力によって入力されるコメントの例を図５に示す。行動分析支援システム１では、図５に示すようなコメントＣ１〜Ｃ３を付加情報として表示画像Ｄ２に付加することができる。以下、コメントＣ１〜Ｃ３を特に区別する必要がない時は「コメントＣ」という。本形態のコメントＣは、所定の位置に配置されたコメント枠２０にコメント内容２１が表示される構成である。コメント内容２１はキーボードのキー入力により設定することができ、コメント枠２０の色、形状、透過性、位置等の属性は任意に設定可能である。
【００３１】
上述した付加情報は、サムネイル画像１１の再生時にも対応する画像とともに再生される。従って、例えば、ユーザはサムネイル表示領域１０ｂに表示されている複数のサムネイル画像１１の手書き情報Ｈを手掛かりにして分析すべき行動の画像を探し、当該画像に対応する動画データＡＤを再生表示領域１０ａにて再生させて、手書き情報Ｈに基づいた行動に関するコメントＣを後から付加することができる。なお、コメントＣ１に示すように、コメント内容２１として、サムネイル画像１１を設定することも可能である。当該設定は、言葉では表現しにくい行動態様や言葉では助長になる行動態様に対して有効である。
【００３２】
付加情報が動画データＡＤの画像に対応付けられる態様について説明する。本形態では、動画データＡＤに対応付けられる付加情報はレイヤー構造を有している。手書き情報Ｈ及びコメントＣ１〜Ｃ２のそれぞれは、例えば、図６に示すように各レイヤーＬ１〜Ｌ２に設定される。各レイヤーＬ１〜Ｌ２、対応する付加情報が入力された画像に対応付けられる。例えば、手書き情報Ｈが設定されたレイヤーＬ１は、手書き情報Ｈが画像Ｉ１（Ｄ１）に対して入力されたため、動画データＡＤの画像Ｉ１（Ｄ１）から表示され、レイヤーＬは、コメントＣ１〜Ｃ３が画像Ｉ２（Ｄ２）に対して入力されたため、画像Ｉ２（Ｄ２）から表示されるように設定されている。また、所定の操作により手書き情報Ｈが画像Ｉ３にて消去されるように設定されたため、レイヤーＬ１は画像Ｉ１〜画像Ｉ３までの部分に対応付けられている。これにより、レイヤーＬ１に設定された手書き情報Ｈは、動画データＡＤの画像Ｉ１（Ｄ１）〜画像Ｉ３が再生される際に再生画像とともに再生表示領域１０ａに表示される。
【００３３】
このように、各レイヤーＬ１〜Ｌ２を動画データＡＤにおける所望の画像に対応付けることにより、コメントＣや手書き情報ＨＮの描画及び消去のタイミングを任意に設定することができる。以下、レイヤーＬ１〜レイヤーＬ２を区別する必要のない時はレイヤーＬという。図６の例では、コメントＣ１〜Ｃ３は同じレイヤーＬ２に設定されているが、各コメントＣ１〜Ｃ３を異なるタイミングで入力し、例えばレイヤーＬ３にコメントＣ２、レイヤーＬ４にコメントＣ３を設定することもできる。これにより再生時にはコメントＣ１、コメントＣ２、コメントＣ３が順次表示されるようになる。
【００３４】
動画データＡＤの画像に対応付けられた複数のレイヤーＬの階層構造は、図６に示すように、後から入力された付加情報が設定されたレイヤーが上層となるように構成されるが、レイヤー順位は既存の画像処理システムにおけるレイヤー構造と同様に変更可能としてもよい。以下、動画データＡＤにおいて、付加情報の表示が開始される画像を表示開始画像、当該表示が終了する画像を表示終了画像というときがある。
【００３５】
行動分析支援システム１のハードウェア構成の概略について図７を用いて説明する。行動分析支援システム１は、カメラ２、モニタ３、マウス４、キーボード５、データ記憶部４０、及び制御部５０で構成される。制御部５０はＣＰＵ及びその動作に必要な記憶域を含みコンピュータとして構成され、主に、データ取得制御部５０ａ、データ記憶制御部５０ｂ、サムネイル画像生成部５０ｃ、動画再生部５０ｄ、及び付加情報処理部５０ｅとして機能する。
【００３６】
データ記憶部４０には、カメラ２によって取得された動画データＡＤに関する情報である取得画像データ６０が記憶された画像データ記憶部４０ａ、本発明を実現するためのコンピュータプログラム等が記憶されたプログラム記憶部４０ｂ、及び全体領域１０ｄに対応付ける画像に関する領域画像情報７０が記憶された領域画像記憶部４０ｃが含まれる。取得画像データ６０について図８を用いて説明する。取得画像データ６０は動画データＡＤ毎に生成されるデータである。本形態の取得画像データ６０においては、動画データＡＤの識別情報である動画ＩＤ６１に対して、動画データＡＤと、記録時情報６２と、付加再生情報６３が対応付けられている。記録時情報６２は動画データＡＤが記録された日時を示す情報である。
【００３７】
付加再生情報６３には、動画データＡＤに対応付けられた各レイヤーＬ１〜Ｌ２に対応するレイヤー１情報６４ａ〜レイヤー２情報６４ｂが対応付けられている。以下、レイヤー１情報６４ａ〜レイヤー２情報６４ｂを区別する必要のない時は「レイヤー情報６４」という。レイヤー情報６４には、設定情報と付加情報とが含まれる。設定情報には、動画データＡＤにおいてレイヤーＬが対応付けられる画像部分（以下「対応部分」という。）、及び階層順位等のレイヤー自体の設定情報が設定される。本形態では、対応部分は動画データＡＤを構成する画像フレームによって設定される。例えば、レイヤーＬ１の設定情報の場合は、動画データＡＤにおける画像Ｉ１に対応する画像フレームから画像Ｉ３に対応する画像フレームまでが対応部分として設定される。
【００３８】
付加再生情報には、コメントＣに関するコメント情報ＣＯＭ及び／又は手書き情報Ｈに関する情報である手書き入力情報ＨＮＤが設定される。本形態では、レイヤー１情報６４ａの付加情報に手書き情報Ｈに関する手書き入力情報ＨＮＤ１が対応付けられ、レイヤー２情報６４ｂの付加情報にコメントＣ１〜Ｃ３に関するコメント情報ＣＯＭ１〜ＣＯＭ３が対応付けられている。以下、コメント情報ＣＯＭ１〜ＣＯＭ３を区別する必要のない時は「コメント情報ＣＯＭ」という。
【００３９】
手書き入力情報ＨＮＤは、仮想ペンの軌跡を示す手書き軌跡情報及び消しゴムの軌跡を示す消しゴム軌跡情報で構成される。手書き軌跡情報は、座標配列情報とペン情報とで構成される。ペン情報は仮想ペンの太さ、色等を示す情報である。座標配列情報は、手書き入力の軌跡をマウス座標の配列として示す情報である。消しゴム軌跡情報は座標配列情報と消しゴム情報とで構成される。座標配列情報は、消しゴム入力の軌跡をマウス座標の配列として示す情報である。消しゴム情報は消しゴムの幅を示す情報である。
【００４０】
コメント情報ＣＯＭは、コメント枠情報とコメント内容情報とで構成される。コメント枠情報は、コメント枠２０の大きさ、色、形状、位置等を示す情報であり、コメント内容情報は、コメントとして表示する内容である。テキスト情報だけでなく、サムネイル画像１１の識別情報も設定可能である。なお、１つのレイヤー情報６４の付加情報に、手書き入力情報ＨＮＤ及びコメント情報ＣＯＭを設定することも可能である。
【００４１】
以下、動画の記録時に行われる記録時処理について、図９のフローチャートに従って説明する。本形態では、表示画像Ｄ１にて手書き情報Ｈが入力された場合について説明する。まず、ステップＳ１００にて、スタンバイ開始操作ＳＳＯの有無が判断される。例えば、基本画面１０の処理ボタン領域１０ｃにおけるスタンバイ開始用ボタンを選択することにより、スタンバイ開始操作ＳＳＯがあったと判断される。ステップＳ１００が否定判断された時は、記録時処理を終了し、肯定判断された時は、ステップＳ１０５に進む。ステップＳ１０５では、スタンバイ状態が開始される。スタンバイ状態とは、上述したように、バックグランド動画データＡＤｂａｃｋの記録が開始される。バックグランド動画データＡＤｂａｃｋは、例えば、データ記憶部４０に記憶されればよい。
【００４２】
続いて、ステップＳ１１０にて、動画記録の開始か否かが判断される。ユーザにより記録開始操作ＳＳＯがあった時に動画記録の開始と判断される。本形態では、カメラの記録ボタンが押されると記録開始操作と判断される。ステップＳ１１０では、肯定判断されるまで記録開始操作待ち状態となり、肯定判断された場合はステップＳ１１５へ進み、記録処理が開始される。記録処理には、例えば、記録日時情報６２の設定処理、及び記録開始のフラグを立てる処理等がある。また、記録開始操作後に取得されるバックグランド動画データＡＤｂａｃｋが再生されて再生表示部１０ａに表示される。続いて、ステップＳ１２０へ進み、手書き処理を開始するか否かが判断される。本形態では、マウス４の左ボタンが所定時間以上押下されると、手書き処理開始と判断される。
【００４３】
ステップＳ１２０にて否定判断された時は、ステップＳ１４０へ進み、肯定判断された時は、ステップＳ１２５に進む。ステップＳ１２５では、手書き入力情報ＨＮＤ１が設定されるレイヤーＬ１が設定される。例えば、表示画像Ｄ１が表示された時にマウス４の左ボタンが所定時間以上押下された場合は、レイヤーＬ１の設定情報には表示画像Ｄ１に対応する画像Ｉ１の画像フレームが表示開始画像として設定される。また、階層順位には「１」が設定される。
【００４４】
続いて、ステップＳ１３０に進み、手書き処理が行われる。手書き処理では、表示画像が拡大され、マウス４のドラッグ操作があると、マウス４の移動に伴って変化するマウス座標を座標配列情報として取得する。入力の際に表示画像が拡大されるため、手書き入力が容易である。手書き入力される際にマウス４が仮想ペンとして設定される場合は手書き入力軌跡情報が生成され、消しゴムとして設定される場合は消しゴム軌跡情報が設定される。なお、仮想ペンとしての太さや色の設定は、不図示の仮想ペン属性画面を開いて任意の時に設定することができる。ステップＳ１３５では、手書き処理が終了か否かが判断される。本形態では、マウス４の左ボタンが押下状態でなくなると、手書き処理が終了と判断される。ステップＳ１３５が肯定判断されない限り、手書き処理が継続され、肯定判断されると、ステップＳ１４０へ進む。
【００４５】
ステップＳ１４０では、動画記録を終了するか否かが判断される。所定の記録終了操作があった時に、動画記録を終了すると判断される。例えば、カメラ２の記録終了ボタンを押すことにより、動画記録を終了すると判断される。ステップＳ１４０にて否定判断された時は、ステップＳ１２０へ戻り、肯定判断された時はステップＳ１４５へ進む。ステップＳ１４５では、取得画像データ６０が生成される。取得画像データ６０の動画データＡＤには、記録開始時の約１５秒前から記録終了時までに記録されたバックグランド動画データＡＤｂａｃｋが設定される。動画ＩＤ６１には、動画データＡＤに固有に付与される識別情報を設定する。
【００４６】
付加再生情報６３には、手書き処理にて生成された手書き入力情報ＨＮＤ１が付加情報として、設定情報と共にレイヤー１情報６４ａに設定される。手書き入力情報ＨＮＤ１は、ステップＳ１３０にて生成された手書き軌跡情報及び消しゴム軌跡情報を時系列に配列することにより生成される。ペン情報及び消しゴム情報は、所望の設定を記録時処理前に設定しておけばよい。なお、記録時情報６２はステップＳ１１５にて設定される。生成された取得画像データ６０はデータ記憶部４０に記憶される。
【００４７】
また、レイヤー１情報６４ａの設定情報において、表示終了画像としての画像フレームは、例えば、動画データの記録中に所定の消去操作（例えば、処理ボタン領域１０ｃの所定ボタンの選択）を行ったタイミングに対応する画像フレームを設定すればよい。当該消去操作をしない場合は、取得された動作データＡＤの最後の画像フレームを表示終了画像として設定情報に設定される。
【００４８】
取得画像データ６０の生成後、ステップＳ１５０に進み、動画データＡＤに基づいてサムネイル画像１１が生成され、サムネイル表示領域１０ｂに表示される。その後、ステップＳ１５５に進み、スタンバイ状態を終了するか否かが判断される。スタンバイ終了操作ＳＥＯがあると、スタンバイ状態を終了すると判断される。例えば、基本画面１０の処理ボタン領域１０ｃにおけるスタンバイ終了用ボタンが選択されると、スタンバイ終了操作ＳＥＯと判断される。ステップＳ１５５にて、肯定判断された時は記録時処理を終了し、否定判断された時はステップＳ１１０に戻り、次の動作データの取得のための処理が行われる。記録時処理の終了時には、記録時処理にて生成された一連の取得画像データ６０を１つの画像データ群として例えば、画像データ群を識別するデータ群識別情報が設定される。
【００４９】
記録時処理の終了後、取得データ６０を再生し、所望の画像にコメントＣを付加することが可能である。動画データＡＤにコメントＣを付加する記録後処理について、図１０のフローチャートに従って説明する。まず、ステップＳ２００にて、サムネイル表示領域１０ｂに表示されているサムネイル画像１１から所望のサムネイル画像１１を選択する。例えば、所望ののサムネイル画像１１にポイントをあててマウス４のボタンをクリックすることにより、サムネイル画像１１が選択される。続いてステップＳ２０５に進み、選択されたサムネイル画像１１に対応する動画データＡＤの再生が再生表示部１０ａにて開始される。次にステップＳ２１０にて画像ストップ操作があったか否かが判断される。ステップＳ２１０にて肯定判断されるまで、動画データＡＤの再生状態が継続される。例えば、表示画像Ｄ２で画像ストップ操作がされた場合、ステップＳ２１０にて肯定判断され、ステップＳ２１５へ進む。
【００５０】
ステップＳ２１５ではコメント生成操作の有無が判断される。例えば、処理ボタン領域１０ｃのコメント生成用ボタンが選択されるとコメント生成操作があったと判断される。ステップＳ２１５にて肯定判断されるまで、画像ストップ状態が継続し、肯定判断されると、ステップＳ２２０に進んでコメント生成処理が行われる。コメント生成処理では、再生表示領域１０ａにてストップされた状態で表示されている表示画像Ｄ２に対して対応付けられるコメント情報ＣＯＭが生成される。コメント生成処理については後述する。コメント生成処理が終了すると、ステップＳ２２５に進み、記録後処理を終了するか否かが判断される。所定の処理終了処理があった時は記録後処理を終了し、処理終了処理がない時はステップＳ２０５へ戻る。
【００５１】
コメント生成処理において行われる処理について、図１１のフローチャートに従って説明する。本形態では、レイヤーＬ２に対応付けられたコメント情報ＣＯＭ１〜ＣＯＭ３を生成するコメント生成処理について説明する。まず、ステップＳ３００にて、コメント情報ＣＯＭ１が設定されるレイヤーＬ２が設定される。レイヤーＬ２のレイヤー２情報６４ｂの設定情報に、再生表示領域１０ａに表示されている表示画像Ｄ２に対応する画像Ｉ２の画像フレームが表示開始画像として設定される。また、階層順位に「２」が設定される。ステップＳ３１０へ進み、基本画面１０上にコメント編集画面が開かれる。コメント編集画面は、ユーザによりコメント情報ＣＯＭのコメント内容情報及びコメント枠情報が設定可能なように構成された画面である。
【００５２】
例えば、コメント編集画面に表示されたコメント内容情報設定用ボタンを選択することにより、コメント内容情報の設定状態となる。コメント内容情報として、キーボード５によってキー入力されるテキスト情報の他、サムネイル画像１１が設定可能である。例えば、コメント内容情報の設定状態の時にサムネイル表示領域１０ｂにおいて所望のサムネイル画像１１がマウス４で選択されると、選択されたサムネイル画像１１に対応する動画ＩＤ６１がコメント内容情報に設定される。
【００５３】
コメント枠情報には、コメント枠２０の色、大きさ、透明度、形状、位置等を設定することができる。例えば、コメント編集画面に表示されたコメント枠情報設定ボタンを選択すると、コメント枠情報の現在の設定状態が表示され、所望の項目を変更することができる画面が表示される。続いて、ステップＳ３２０にて、終了操作の有無が判断される。たとえば、コメント編集画面において「ＯＫ」ボタンが選択された時、終了操作があったと判断される。
【００５４】
ステップＳ３２０にて肯定判断されるまで、コメント編集画面にてコメント情報の設定処理が可能であり、例えば、コメントＣ１と同様にコメントＣ２及びコメントＣ３を入力すればよい。ステップＳ３２０にて肯定判断された時はステップＳ３３０へ進む。ステップＳ３３０では、コメント編集画面にて設定されたコメント内容情報及びコメント枠情報で構成されるコメント情報ＣＯＭ１、コメント情報ＣＯＭ２、及びコメント情報ＣＯＭ３が生成され、レイヤー２情報６４ｂに追加される。コメント情報ＣＯＭ１〜ＣＯＭ３の生成後、ステップＳ３４０へ進み、レイヤー描画処理が行われる。レイヤー描画処理では、処理対象のレイヤーＬに設定された付加情報が再生される。レイヤー描画処理については後述する。レイヤー描画処理の終了後、コメント生成処理を終了する。なお、本形態のコメント生成処理では、レイヤーＬ２の設定情報に表示終了画像を設定しないため、表示終了画像として、処理対象の動画データＡＤの最終画像Ｉ６の画像フレームが設定される。表示終了画像を設定するときは、例えば、ステップＳ３００のレイヤー設定時に、レイヤーＬ１と同様の消去操作を行うことにより、レイヤーＬ２の設定情報に所望の表示終了画像を設定してもよい。
【００５５】
なお、コメント生成後に、特定のレイヤーＬを指定することにより、レイヤーＬに対応付けられたコメント情報ＣＯＭを再生表示領域１０ａに表示させ、処理対象のコメントを選択することにより、コメント編集画面にて対応するコメント情報ＣＯＭの設定変更を行うことがでできる。また、再生表示領域１０ａに表示されているコメントＣをマウス４でドラッグすることにより、コメントＣの位置を移動させることも可能である。更に、手書き入力も、例えば、ステップＳ２１５にて否定判断された後に、手書き入力開始操作の有無を判断し、手書き入力開始操作があった時は、手書き入力操作を受け付け、手書き入力情報ＨＮＤを生成する処理を設けてもよい。
【００５６】
レイヤー描画処理について図１２のフローチャートに従って説明する。レイヤー描画処理は、処理対象のレイヤーＬに対応付けられている付加情報、即ち手書き情報Ｈ及び／又はコメントＣが描画される際に行われる処理である。なお、手書き情報ＨやコメントＣが更新された場合は、更新された領域を検出して、当該領域のみに対して、レイヤー描画処理が行われる。
【００５７】
まず、ステップＳ４００にて、処理対象のレイヤーに手書き入力情報ＨＮＤが対応付けられているか否かが判断される。ステップＳ４００にて否定判断された時は、ステップＳ４５０へ進み、肯定判断された時はステップＳ４０５へ進む。以下、ステップＳ４０５〜ステップＳ４４０は手書き入力情報ＨＮＤを描画するための処理である。ステップＳ４０５では、手書き入力情報ＨＮＤに含まれる消しゴム軌跡情報を参照することにより、全ての消しゴム領域を無効状態に設定する。消しゴム領域とは、ユーザが仮想消しゴムを移動させた領域であり、消しゴム軌跡情報に設定されている領域である。無効状態とは、手書き軌跡情報により、手書き入力の軌跡情報が存在する領域であっても当該軌跡が描画されない状態をいう。
【００５８】
次に、ステップＳ４１０にて、手書き入力情報ＨＮＤに含まれる軌跡情報をすべて処理したか否かが判断される。ステップＳ４１０にて肯定判断された時は手書き入力情報ＨＮＤは表示済みと判断し、ステップＳ４５０へ進む。ステップＳ４１０にて否定判断された時は、ステップＳ４２０へ進み、軌跡情報の種類を判別する。手書き軌跡情報の場合は、ステップＳ４３０へ進んで手書き軌跡を描画する。なお、この場合、無効領域には手書き軌跡は描画されない。
【００５９】
ステップＳ４２０にて、消しゴム軌跡情報と判別された時は、ステップＳ４４０に進み、処理対象の消しゴム軌跡情報に対応する消しゴム領域の無効状態を解除する。無効状態を解除するとは、解除された後は、手書き入力の軌跡情報に基づいて手書き入力が描画される状態に戻ったことをいう。ステップＳ４３０又はステップＳ４４０の処理終了後、次の軌跡情報について処理を行うためにステップＳ４１０へ戻る。
【００６０】
ステップＳ４５０では、コメント情報ＣＯＭが処理対象のレイヤーＬに対応付けられているか否かが判断される。ステップＳ４５０にて否定判断された時は、レイヤー描画処理を終了し、肯定判断された時はステップＳ４５５へ進み、コメント描画処理が行われる。コメント描画処理では、処理対象のレイヤーＬに対応付けられたコメント情報ＣＯＭに基づいて、コメントＣを表示する。コメントＣの表示後、レイヤー描画処理を終了する。
【００６１】
更に、行動分析システム１においては、図１３に示すように、サムネイル領域１０ｂにおいて、サムネイル画像１１間の関連性に関するメモ書き情報Ｍ１や、表示画像とサムネイル画像１１との関連性に関するメモ書きＭ２を入力することも可能である。本形態では、再生表示領域１０ａとサムネイル表示領域１０ｂとを合わせた全体領域１０ｄの少なくとも一部の領域に、表示情報を対応付けられるレイヤーＬａ（以下「領域レイヤーＬａ」という。）を設定可能である。所定の領域に設定された領域レイヤーＬａにメモ書きＭ１、Ｍ２を設定することにより、メモ書きＭ１、Ｍ２を設定した領域１０ｄ上に表示させることができる。本形態では、全体領域１０ｄに対応付けられた領域レイヤーＬａにメモ書きＭ１、Ｍ２を設定する領域レイヤー処理について図１４に示すフローチャートに従って説明する。領域レイヤー処理は制御部５０によって制御される。
【００６２】
領域レイヤー処理は、記録後処理において領域レイヤー処理を開始する操作がユーザによってされることにより開始される。例えば、処理ボタン領域１０ｃにおける領域レイヤー処理開始用ボタンが選択されると領域レイヤー処理の開始と判断される。なお、領域レイヤー処理は、制御部５０によって制御される。領域レイヤー処理では、まず、ステップＳ５００にて、全体領域１０ｄ上に対応付けられた領域レイヤーＬａを設定する。当該設定は、例えばユーザが所望の領域をマウス４で指定することにより、設定されてもよいし、予め全体領域１０ｄに対応付けられた領域レイヤーＬａが用意されていてもよい。続いてステップＳ５１０にて、領域付加情報入力処理が行われる。本形態の領域付加情報入力処理では、ユーザによる手書き入力操作を受け付け、当該手書き入力操作に基づいて、メモ書きＭ１、Ｍ２のそれぞれに対応する手書き入力情報ＨＮＤが生成される。
【００６３】
なお、領域付加情報入力処理では、コメントＣの入力を受け付けてコメント情報ＣＯＭが生成されてもよい。次に、ステップＳ５２０にて生成された領域付加情報としての手書き入力情報ＨＮＤを領域レイヤーＬａに設定する。領域レイヤーＬａに対応する領域と手書き入力情報ＨＮＤとが設定された情報は、領域画像情報７０として領域画像記憶部４０ｃに記憶される。これにより、制御部５０は領域付加設定部として機能する。
【００６４】
以後、例えば、ユーザによって、領域レイヤー表示開始操作が行われ、領域画像情報７０が指定されると、制御部５０によって領域画像情報７０が参照され、領域レイヤーＬａに対応付けられた手書き入力情報ＨＮＤに基づいてメモ書きＭ１、Ｍ２が全体領域１０ｄ上に描画される。これにより、制御部５０は領域レイヤー表示制御部として機能する。このように、サムネイル画像１１間の関係や表示画像とサムネイル画像１１との関係を手書き入力操作によって簡単に入力することができ、当該関係を後からでも確認することができる。領域画像情報７０の指定は、例えば、領域画像情報７０に対応するファイル名を指定すればよい。
【００６５】
最後に、行動分析支援システム１における検索機能について説明する。行動分析支援システム１においては、キーワードで検索することにより、キーワードに関連した動画データＡＤを集めることができる。当該検索機能を実現する検索処理について図１５に示すフローチャートに従って説明する。検索処理はユーザによって所定の検索開始操作がされることにより開始される。なお、検索処理は制御部５０によって制御される。
【００６６】
まず、ステップＳ６００にて、検索キーワードを設定する。例えば、検索開始操作をすることにより、検索キーワード入力画面が表示され、当該画面に入力すればよい。次に、ステップＳ６１０に進み、画像データ記憶部４０ａに記憶された取得画像データ６０群に対して、設定された検索キーワードを有するコメント内容情報を検索する。これにより、制御部５０は検索部として機能する。検索対象の取得画像データ６０群は、画像データ記憶部４０ａに記憶されているすべての取得画像データ６０であってもよいし、所望の画像データ群のデータ群識別情報を指定することにより、当該識別情報にて対応付けられた取得画像データ６０群であってもよい。続いて、ステップＳ６２０では、検索された各コメント内容情報について、対応する動画データＡＤを抽出し、サムネイル画像１１にしてサムネイル表示領域１０ｂに表示する。
【００６７】
このように、検索処理によって、所望のキーワードに関する動画データＡＤをサムネイル表示領域１０ｂに一覧することができ、ユーザは、一覧表示された複数のサムネイル画像１１間の関連性を分析したり、更に所望の動画データＡＤを選択して再生表示領域１０ａに表示させ、当該動画データＡＤの動画に基づいた分析処理を進めることができる。
【００６８】
なお、キーワード設定において、コメント枠の色が指定されることにより、コメント情報ＣＯＭのコメント枠情報が検索され、指定された色のコメント枠が設定されたコメント枠情報を有するコメント情報ＣＯＭが対応付けられた動画データＡＤが検索されてもよい。更に、例えば仮想ペンの色を指定することにより、手書き入力情報ＨＮＤのペン情報が検索され、指定された色に設定されたペン情報を有する手書き入力情報ＨＮＤが対応付けられた動画データＡＤが検索されてもよい。
【００６９】
本発明は上述の形態に限らず種々の形態にて実施されてよい。例えば、タッチパネルを備えたタブレットＰＣの場合、タッチペンにより手書き入力操作を行ってもよい。この場合、マウス４の左ボタン押下操作はタッチペンで画面に触れる操作に対応し、マウス４の移動はタッチペンを画面上で移動させる操作に対応し、マウス４の左ボタン押下を解除する操作はタッチペンを画面から離す操作に対応する。また、記録後処理において記録された動画データＡＤの所望箇所を削除する機能を備えてもよい。
【００７０】
本形態では、スタンバイ開始操作ＳＳＯからスタンバイ終了操作ＳＥＯがあるまでに取得された複数の動画データＡＤのそれぞれが、サムネイル表示領域１０ｂの各サムネイル画像１１として表示されるが、サムネイル画像１１に表示される動画データＡＤを動画ＩＤ６１によって指定可能なように構成し、動画データＡＤを取得した時間や場所とは関係なくサムネイル領域１０ｂに表示できるように設定してもよい。また、記録中、再生中にユーザの操作により特定の画像を静止画としてキャプチャーするキャプチャー機能をを備えていてもよい。行動分析の対象者は、スポーツ選手、所定の作業を行う作業員や患者等であってもよい。また、動物や移動体であってもよい。
【図面の簡単な説明】
【００７１】
【図１】本発明の行動分析支援システムの構成の一例を示す図。
【図２】モニタに表示される基本画面の一例を示す図。
【図３】取得される動画データと基本画面との関係を示す図。
【図４】表示画像に手書き入力されたようすを示すフローチャート。
【図５】表示画像にコメントが入力されたようすを示すフローチャート。
【図６】動画データに対応付けられる付加情報のレイヤー構造を示すフローチャート。
【図７】図１に示す行動分析支援システムのハードウェア構成の概略を示す図。
【図８】取得画像データのデータ構造を示す図。
【図９】記録時処理において行われる処理の流れを示すフローチャート。
【図１０】記録後処理において行われる処理の流れを示すフローチャート。
【図１１】コメント生成処理において行われる処理の流れを示すフローチャート。
【図１２】レイヤー描画処理において行われる処理の流れを示すフローチャート。
【図１３】領域付加情報が全体領域に入力されたようすを示す図。
【図１４】領域レイヤー処理において行われる処理の流れを示すフローチャート。
【図１５】検索処理において行われる処理の流れを示すフローチャート。
【符号の説明】
【００７２】
１ 行動分析支援システム
２ カメラ（画像取得部）
３ モニタ（画像表示部）
４ マウス
５ キーボード
４０ データ記憶部
４０ａ 画像データ記憶部
５０ 制御部
５０ａ データ取得制御部
５０ｂ データ記憶制御部
５０ｃ サムネイル画像生成部
５０ｄ 動画再生部
５０ｅ 付加情報処理部
【特許請求の範囲】
【請求項１】
所定の動体の動画データを取得する動画取得部と、
前記動画取得部によって取得された動画データを記憶する画像記憶部と、
複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部と、
前記動画取得部によって取得される動画データに関する処理を制御する制御部と、
ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、
を備えた行動分析支援システムであって、
前記制御部は、
ユーザによる取得開始操作と取得終了操作に応じて、前記動画データを前記動画取得部を介して取得するデータ取得制御部と、
前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部と、
前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付ける付加情報処理部と、
前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部と、
前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して前記サムネイル表示領域に一覧表示するサムネイル画像生成部と、を有し、
前記サムネイル画像生成部は、前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示する、ことを特徴とする行動分析支援システム。
【請求項２】
前記動画再生部は、前記サムネイル表示領域に表示された複数のサムネイル画像の中から、ユーザによって選択されたサムネイル画像に対応する動画データを再生して前記再生表示領域に表示する、ことを特徴とする請求項１に記載の行動分析支援システム。
【請求項３】
前記各取得画像データの動画データには、少なくとも１つのレイヤーを対応付け可能であり、
前記付加情報処理部は、前記付加情報が入力される際に前記表示された画像にレイヤーを対応付け、その対応付けられたレイヤーに前記付加情報を設定して前記画像記憶部に記憶し、
前記動画再生部及び前記サムネイル画像生成部は、前記画像を再生する際に、前記表示された画像と共に、その画像に対応付けられたレイヤーに設定された付加情報を、前記再生表示領域に表示する、ことを特徴とする請求項１又は２に記載の行動分析支援システム。
【請求項４】
前記サムネイル表示領域及び前記再生表示領域を合わせた全体領域の少なくとも一部の領域に表示する画像に関する情報である領域画像情報を記憶する領域画像記憶部と、
前記領域画像情報は少なくとも１つの領域レイヤーにて構成され、
前記制御部は、前記少なくとも一部の領域に対応付けられた領域レイヤーを設定し、前記少なくとも一部の領域に対してユーザによって入力される領域付加情報を、前記領域レイヤーに設定して前記領域画像情報として記憶する領域付加情報設定部と、
ユーザによって前記領域レイヤーが指定されると、前記領域画像記憶部を参照して、前記領域レイヤーに設定された前記領域付加情報を、前記領域レイヤーが対応する前記少なくとも一部に表示する領域レイヤー表示制御部とを有する、ことを特徴とする請求項１〜３のずれか１項に記載の行動分析支援システム。
【請求項５】
前記付加情報はテキスト情報と前記テキスト情報を配置する位置情報で構成され、
前記制御部は、前記ユーザによって所望のキーワードが指定されると、前記テキスト情報を検索して、前記キーワードを含むテキスト情報が対応付けられた動画データを検出する検出部を更に有し、
前記サムネイル画像生成部は、前記検出部によって検出された動画データから前記サムネイル画像を生成して前記サムネイル表示領域に表示することを特徴とする、請求項１〜４のいずれか１項に記載の行動分析支援システム。
【請求項６】
前記付加情報は、手書き入力操作の軌跡情報であり、
前記動画再生部及び前記サムネイル画像生成部は、前記画像フレームに対応する画像の表示とともに、前記軌跡情報に従った表示を開始する、ことを特徴とする請求項５に記載の行動分析支援システム。
【請求項７】
前記データ取得制御部は、ユーザによりスタンバイ操作があると、前記動画取得部によってバックグラウンド動画データの取得を開始して前記画像記憶部に記憶し、前記取得終了操作があると、前記バックグラウンド動画データのうち、前記取得開始操作がされた時から所定時間遡った時から前記取得終了操作がされた時までに対応する部分を、前記動画データとして取得する、ことを特徴とする請求項１〜６のいずれか１項に記載の行動分析支援システム。
【請求項８】
所定の動体の動画データを取得する動画取得部と、
前記動画取得部によって取得された動画データを記憶する画像記憶部と、
複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部と、
前記動画取得部によって取得される動画データに関する処理を制御する制御部と、
ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、
を備えたコンピュータを機能させる行動分析支援プログラムであって、
前記制御部を、
ユーザによる取得開始操作と取得終了操作に応じて、前記動画データを前記動画取得部を介して取得するデータ取得制御部と、
前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部と、
前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付ける付加情報処理部と、
前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部と、
前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して前記サムネイル表示領域に一覧表示するサムネイル画像生成部と、して機能させ、
前記サムネイル画像生成部に、前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示させる、
ことを特徴とする行動分析支援プログラム。
【請求項１】
所定の動体の動画データを取得する動画取得部と、
前記動画取得部によって取得された動画データを記憶する画像記憶部と、
複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部と、
前記動画取得部によって取得される動画データに関する処理を制御する制御部と、
ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、
を備えた行動分析支援システムであって、
前記制御部は、
ユーザによる取得開始操作と取得終了操作に応じて、前記動画データを前記動画取得部を介して取得するデータ取得制御部と、
前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部と、
前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付ける付加情報処理部と、
前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部と、
前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して前記サムネイル表示領域に一覧表示するサムネイル画像生成部と、を有し、
前記サムネイル画像生成部は、前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示する、ことを特徴とする行動分析支援システム。
【請求項２】
前記動画再生部は、前記サムネイル表示領域に表示された複数のサムネイル画像の中から、ユーザによって選択されたサムネイル画像に対応する動画データを再生して前記再生表示領域に表示する、ことを特徴とする請求項１に記載の行動分析支援システム。
【請求項３】
前記各取得画像データの動画データには、少なくとも１つのレイヤーを対応付け可能であり、
前記付加情報処理部は、前記付加情報が入力される際に前記表示された画像にレイヤーを対応付け、その対応付けられたレイヤーに前記付加情報を設定して前記画像記憶部に記憶し、
前記動画再生部及び前記サムネイル画像生成部は、前記画像を再生する際に、前記表示された画像と共に、その画像に対応付けられたレイヤーに設定された付加情報を、前記再生表示領域に表示する、ことを特徴とする請求項１又は２に記載の行動分析支援システム。
【請求項４】
前記サムネイル表示領域及び前記再生表示領域を合わせた全体領域の少なくとも一部の領域に表示する画像に関する情報である領域画像情報を記憶する領域画像記憶部と、
前記領域画像情報は少なくとも１つの領域レイヤーにて構成され、
前記制御部は、前記少なくとも一部の領域に対応付けられた領域レイヤーを設定し、前記少なくとも一部の領域に対してユーザによって入力される領域付加情報を、前記領域レイヤーに設定して前記領域画像情報として記憶する領域付加情報設定部と、
ユーザによって前記領域レイヤーが指定されると、前記領域画像記憶部を参照して、前記領域レイヤーに設定された前記領域付加情報を、前記領域レイヤーが対応する前記少なくとも一部に表示する領域レイヤー表示制御部とを有する、ことを特徴とする請求項１〜３のずれか１項に記載の行動分析支援システム。
【請求項５】
前記付加情報はテキスト情報と前記テキスト情報を配置する位置情報で構成され、
前記制御部は、前記ユーザによって所望のキーワードが指定されると、前記テキスト情報を検索して、前記キーワードを含むテキスト情報が対応付けられた動画データを検出する検出部を更に有し、
前記サムネイル画像生成部は、前記検出部によって検出された動画データから前記サムネイル画像を生成して前記サムネイル表示領域に表示することを特徴とする、請求項１〜４のいずれか１項に記載の行動分析支援システム。
【請求項６】
前記付加情報は、手書き入力操作の軌跡情報であり、
前記動画再生部及び前記サムネイル画像生成部は、前記画像フレームに対応する画像の表示とともに、前記軌跡情報に従った表示を開始する、ことを特徴とする請求項５に記載の行動分析支援システム。
【請求項７】
前記データ取得制御部は、ユーザによりスタンバイ操作があると、前記動画取得部によってバックグラウンド動画データの取得を開始して前記画像記憶部に記憶し、前記取得終了操作があると、前記バックグラウンド動画データのうち、前記取得開始操作がされた時から所定時間遡った時から前記取得終了操作がされた時までに対応する部分を、前記動画データとして取得する、ことを特徴とする請求項１〜６のいずれか１項に記載の行動分析支援システム。
【請求項８】
所定の動体の動画データを取得する動画取得部と、
前記動画取得部によって取得された動画データを記憶する画像記憶部と、
複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部と、
前記動画取得部によって取得される動画データに関する処理を制御する制御部と、
ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、
を備えたコンピュータを機能させる行動分析支援プログラムであって、
前記制御部を、
ユーザによる取得開始操作と取得終了操作に応じて、前記動画データを前記動画取得部を介して取得するデータ取得制御部と、
前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部と、
前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付ける付加情報処理部と、
前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部と、
前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して前記サムネイル表示領域に一覧表示するサムネイル画像生成部と、して機能させ、
前記サムネイル画像生成部に、前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示させる、
ことを特徴とする行動分析支援プログラム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図４】
【図５】
【図１３】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図４】
【図５】
【図１３】
【公開番号】特開２０１０−１２９１４６（Ｐ２０１０−１２９１４６Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０５０８０（Ｐ２００８−３０５０８０）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（３０５０１３９１０）国立大学法人お茶の水女子大学 (32)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（３０５０１３９１０）国立大学法人お茶の水女子大学 (32)
【Ｆターム（参考）】
[ Back to top ]