活動プロセスリフレクション支援システム
【課題】ワークショップにおける活動についてのリフレクションを、時間配置と構造配置による表現を融合することにより支援する仕組みであるワークショップリフレクターを実現できる活動プロセスリフレクション支援システムを提供する。
【解決手段】本システムは、ユーザの活動プロセスに関するデータを記録し、記録されたデータに対してアノテーションを自動付与し、記録されたデータおよびアノテーションを時間軸に沿って提示し、提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインリフレクターと、記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、提示された二次元仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードリフレクターとを備える。
【解決手段】本システムは、ユーザの活動プロセスに関するデータを記録し、記録されたデータに対してアノテーションを自動付与し、記録されたデータおよびアノテーションを時間軸に沿って提示し、提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインリフレクターと、記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、提示された二次元仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードリフレクターとを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ワークショップにおける活動についてのリフレクションを、時間配置と構造配置による表現を融合することにより支援する仕組みである「ワークショップリフレクター」を提供することのできるシステムに関するものである。
【背景技術】
【0002】
1960年代以降、世界中の様々な分野においてワークショップと呼ばれる参加体験型の学習や創造活動の場が広がりを見せている。ワークショップを開催する目的も様々であり、企業研修のグループワークのように意見表出や問題解決のトレーニングとして利用することや、地域住民が主体的にまちづくりの計画や製作の策定を行う場として利用されることもある。近年では特に、市民の表現活動や創作活動の活性化を目的としたワークショップが盛んに開催されており、例えば、子どもを対象に創造性や表現力を引き出すワークショップを定期的に提供していたり、映像を用いたストーリーテリングのワークショップを提供していたりする。
【0003】
このようなワークショップにおいては、参加者の創造性や表現力の向上だけでなく、体験共有やコミュニケーションの活性化といった参加者同士の相互作用を目指すこともできる。
【0004】
表現活動や創造活動を活性化するという文脈では、自己の活動を認知的アプローチにより振り返ることが有効である。このような振り返りをリフレクションと呼ぶ。また、自己の活動振り返って言語化することは学習を促進する。
【0005】
表現活動ということに焦点を絞ると、ワークショップのリフレクションは以下の二つに分かれると考えられる。
・ワークショップで表現活動を行った参加者自身によるリフレクション
・ワークショップという表現の場を提供したファシリテータ(司会進行役等)たちによるリフレクション
特に、ファシリテータはワークショップで重要な役割を担う。リフレクションによって、ファシリテータたちが自分たちの活動を振り返りワークショップの進行上の良かった点、悪かった点などを内省することを通じて、ファシリテータ自身のスキルを学習することが、ワークショップの効果的な運用につながると考えられる。
【0006】
リフレクションは複数のファシリテータで行われるため、時間軸に沿った多視点かつ協働できる枠組みが有効である。また、協働で活動プロセスを構造的に扱う仕組みとして、KJ法のようなカードベースの構造配置による表現が有効である。
【発明の開示】
【発明が解決しようとする課題】
【0007】
そこで、本発明は、ワークショップにおける活動についてのリフレクションを、時間配置と構造配置による表現を融合することにより支援する仕組み「ワークショップリフレクター」を実現する活動プロセスリフレクション支援システムを提供する。これによれば、ワークショップ中に記録した写真やビデオを時間配置で表現する「タイムラインリフレクター」と、ワークショップ中のイベントをカードとして表現し構造配置する「カードリフレクター」を組み合わせて、活動プロセスをリフレクションする仕組みを実現することができる。
【課題を解決するための手段】
【0008】
本発明は、上記の課題を解決するものとして、第1には、
ユーザの活動プロセスに関するデータを記録する記録装置と、
記録されたデータに対してアノテーションを自動付与するオートアノテーション装置と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示装置と、
提示されたタイムライン上のデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション装置と、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示装置と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション装置と
を備える、活動プロセスリフレクション支援システムを提供する。
【0009】
第2には、
ユーザの活動プロセスに関するデータを記録し、記録されたデータに対してアノテーションを自動付与し、記録されたデータおよびアノテーションを時間軸に沿って提示し、提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインリフレクターと、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードリフレクターと
を備える、活動プロセスリフレクション支援システムを提供する。
【0010】
第3には、
ユーザの活動プロセスに関するデータを記録し、
記録したデータに対してアノテーションを自動付与し、
記録したデータおよびアノテーションを時間軸に沿って提示し、
提示したデータに対してユーザ任意のアノテーションを付与し、
記録したデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、
提示した仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与する、
活動プロセスリフレクション支援方法を提供する。
【0011】
第4には、前記方法をコンピュータに実行させるプログラムならびに該プログラムを記録したコンピュータ読取可能な記録媒体を提供する。
【発明を実施するための最良の形態】
【0012】
1.ワークショップのリフレクションの支援
1.1 ワークショップの実例
ここで対象とするワークショップの一例は、室内で実施される参加者数十人規模の参加体験型創造活動である。このようなワークショップでは、ファシリテータと呼ばれるワークショップの設計者および司会者がテーマを設け、参加者が作品を仕上げる過程を通じて、学習やコミュニケーションの活性化を図る。たとえば、実際に開催されたあるワークショップは、「子育てにやさしい町をつくりたい」というテーマのもと、中学生の「子育て」に対する関心を高めることを目的として、参加者たちが、自身の幼児期について調べ、当時の写真や親から聞いた子どものころの様子を作品として作成し、発表した。
【0013】
ワークショップ中に記録した1000枚を超える写真の多くは、参加者たちが作品を作成する様子や、参加者同士やファシリテータとの対話の様子が中心的だった。このことから、ファシリテータが注目する点は、作品が出来上がる過程、および参加者やファシリテータの対話であると考えられる。さらに、ファシリテータにインタビューを行った結果、このようなワークショップのリフレクションにおいて、以下の要素が必要であるとわかった。
・作品を作成する過程に対する註釈の付与
・参加者の動きや対話に対する註釈の付与
・同時に複数個所で起こるイベントの俯瞰
・ワークショップ中のイベントの切り出し
・時間的に離れているイベント間の関連付け
1.2 ワークショップのリフレクションシステムの全体像
前述のリフレクションに必要な要素をふまえ、本発明では、ワークショップにおける活動プロセスのリフレクションの仕組みを図1のように想定している。この仕組みでは、ワークショップで記録されたコンテンツを、リフレクションの目的に応じて時間配置と構造配置により表現し、組み合わせることで効果的なリフレクションを目指している。
【0014】
まず、カメラやマイク、ペンタブレットなどの画像、映像、音声、文字等の入力及び記録のための各種デバイスないしセンサを用いて、ワークショップの活動プロセス(時間を含む)をサーバやデータベース等に記録する。次に、記録したセンサデータに対し、アノテーションの自動付与を行う。アノテーションの自動付与における本発明が想定するデータ処理の例を以下にあげる。
・文字が書かれた写真をスキャナで取り込んだデータの文字認識
・タブレットのオンライン文字認識
・写真中の人の顔検出
・音響データからの音声認識
・センシングデータからのユーザの位置や向きの推定
これら各種データ処理には、文字や画像(ここでは適宜「画像」と総称する)、物音や音声(ここでは適宜「音声」と総称する)、位置や方向、角度(ここで適宜「位置」と総称する)などといった、センサデータ固有のアノテーションを認識、判定、推定等するあらゆる公知の技術を利用することができる。位置推定技術の一例としてはたとえばNishimura, T., Nakamura, Y., Tomobe, H.,Kurata, T., Okuma, T. and Matsuo, Y."Location
Estimation using Auditory Signal Emitted and Received by All Objects", Proc. Of
INSS’07 (2007)を参照。
【0015】
ユーザはアノテーションが自動付与されたデータ、および映像や音声などのデータ自体を用いてリフレクションを行う。まず、ユーザは「タイムラインリフレクター」を用いて、ワークショップの活動をリフレクションする。タイムラインリフレクターは、ワークショップ時に記録されたセンサデータを時系列に配置し、時間軸に沿ってデータを提示することにより、活動を振り返ることができるツールである。ユーザは、コンピューディスプレイ等に表示されたタイムラインリフレクター上で提示された映像や音声から、ワークショップ中の特徴的なイベントを抽出し、ユーザ自身の解釈や印象を加える。これにより、ワークショップの活動プロセスがセグメンテーションされる。ユーザによる抽出や入力はキーボードやマウス等の各種入力デバイスを介してタイムラインリフレクター上で行われ、センサデータと関連付けて記憶手段に記憶されることでセグメンテーションが実現される。
【0016】
次に、ユーザは「カードリフレクター」を用いて活動プロセスのリフレクションを行う。カードリフレクターは、タイムラインリフレクターでセグメンテーションされた活動プロセスをカード化し、つまりセグメンテーション後の各センサデータを擬似的に一つのカードとして見なし、ディスプレイ等に表示される2次元の仮想フィールド上に各カードを配置し、各カードに対して更に解釈や印象をアノテーションとして加えることによりリフレクションを可能にするツールである。本発明では、カードリフレクターとタイムラインリフレクターを組み合わせてリフレクションするシステムをワークショップリフレクターと呼ぶ。
【0017】
2.ワークショップリフレクター
2.1 時間配置によるワークショップの表現:タイムラインリフレクター
ワークショップのリフレクションでは、時間軸上で特徴的な出来事を抽出できる必要がある。そこでタイムラインリフレクターでは、ワークショップ中に記録した映像や音声などのデータを時系列に配置し、時間軸に沿ってデータに対し解釈や印象などのアノテーションをユーザが付与することで特徴的な出来事を抽出する。以下にタイムラインリフレクターに必要な機能をあげる。
【0018】
<映像や音声などのデータの時系列表示>
タイムラインリフレクターでは、時間をインデックスとして時系列でデータを配置することにより、同時間に記録された映像や音声などを並列に表示して、ユーザが閲覧できる。
【0019】
<解釈や印象などのアノテーションの付与>
映像や音声などのデータに対してテキストやフリーハンドによるアノテーションを付与できる。アノテーションは映像や音声などのデータ全体かデータの一部(時間範囲や矩形範囲)に対し付与される。これにより、実世界の特徴的な活動を切り出すことができ、ワークショップのセグメンテーションを実現できる。
【0020】
<映像や音声などのデータの検索>
ユーザはタイムライン上に配置された映像や音声のデータを、時間をキーにして検索することができる。また、ユーザは自動アノテーションや付与したアノテーションから映像や音声の検索ができる。例えば、インデックスとして利用される時間以外に、文字情報や顔などの画像情報、位置情報に基づいたデータ検索ができる。
【0021】
図2にタイムラインリフレクターの一実施例であるコンピュータディスプレイ上の表示例を示す。タイムラインリフレクターの本実施例では、動画や静止画、音声、位置情報などのデータが記録された時間をもとにタイムラインを表示する。また、各データは平行して閲覧できるように表示される。
【0022】
この表示例では、タイムライン上からデータを選択しマウス等によりクリックすると、時間をインデックスとしてデータベース等から抽出された対応する動画や静止画が拡大表示される。拡大表示されたデータに対し、マウス操作等を介して任意の矩形範囲を指定することでアノテーションウィンドウが開く。アノテーションウィンドウでデータや指定した範囲に関する解釈や説明をキーボード等によりテキストで入力できる。また、アノテーションウィンドウ上にて開始時間と終了時間を設定することにより、時間範囲を指定することもできる。時間範囲が指定されたアノテーションは、タイムラインリフレクター上では指定された時間範囲のみ表示される。すなわち、抽出したセンサデータに対してユーザ任意の情報を時間とともに入力、指定してアノテーションを実行することができる。アノテーションの様子を図3に示す。このアノテーションをもとに、カードリフレクター上にカードが生成される。
【0023】
2.2 構造配置によるワークショップの表現:カードリフレクター
タイムラインリフレクターによりセグメンテーションされたワークショップの活動プロセスをリフレクションするためには、さらにユーザの解釈や意図を直感的に付与できる仕組みが必要であると考えられる。例えば、KJ法のように、データやアイデアをカードとして2次元上のフィールドに表現し配置する手法は、直感的な思考を行うために有効であると考えられる。そこでユーザは、カードリフレクターを用いて、計算機上の仮想的な机(フィールド)の上で、活動プロセスをカードとして配置し、関係のあるカードを近くに配置することや、アノテーションにより解釈や意図をカードに加えることで、ワークショップの活動を構造化し、直感的な思考を行うことができる。なお、カードを配置するフィールドは、2次元平面空間フィールドだけでなく、3次元立体空間フィールドとしてもよいことはいうまでもない。以下にカードリフレクターに必要な機能をあげる。
【0024】
<新しいカードの作成>
タイムラインリフレクターを用いて、ユーザは活動プロセスをセグメンテーションする。このセグメンテーションした活動プロセスは、カードリフレクター上ではカードとして表現される。それぞれのカードはワークショップ中に記録された映像や音声などのセンサデータを持つ。
【0025】
<カードの移動とグルーピング>
ユーザはカードリフレクターのフィールド上でカードを直感的に操作できる。例えば、関連性の強い活動プロセスのカードを近くに移動させることができる。また、カードの角度を変化させることにより、対面テーブルなどで用いてリフレクションする場合に対面にいるユーザにカードを提示することできる。さらに、活動プロセスを構造化するためにはカードのグルーピングが望ましい。グルーピングは関係するカードを円で囲むといった簡単な操作で実現される。これらの操作はマウスやキーボード等の各種入力デバイスを介して行うことができる。
【0026】
<アノテーションの追加>
活動プロセスの解釈や意図として、ユーザはテキストやリンク、描画アノテーションを付与することができる。テキストアノテーションと描画アノテーションは、カード全体やカードの一部に対して付与される。関係あるカードにリンクアノテーションを用いることにより、ワークショップの活動プロセスはネットワーク状になり、ユーザは構造的に俯瞰することができる。また、フリーハンドによる描画アノテーションは活動プロセスへの解釈を直感的に付与することができる。さらにカードが配置されているフィールド(仮想的な机)へも直接描画アノテーションを加えることにより、ユーザは活動プロセスの構造化を支援する情報を付与できる。
【0027】
<カードやアノテーションの検索>
ユーザが目的のカードを容易に操作するために、カードやアノテーションの検索が必要である。ユーザはテキストのキーワードによる検索だけでなく、リンク構造に基づくカードの検索も必要である。さらに、前述の自動アノテーションデータベースから、ユーザが描画した情報をクエリとした類似描画検索、ユーザがアップした写真、音響、動画との類似関連データの検索も、莫大なデータからユーザが関心あるデータを発見したい場合に役立つ。
【0028】
図4にカードリフレクターの表示の一例を示す。カードリフレクターの入力操作はペンタブレット等を用いて行う。リフレクション時の操作はペンタブレット等をユーザが共有して入力する。ユーザはそれぞれIDが記録されているペン等により入力を行うことができ、これにより、全ての操作について操作を行ったユーザを互いに関連付けてデータベース等に記録することができ、このデータに基づいて各操作を行った各ユーザを特定することが可能である。ユーザはカードの中心をポイントしドラッグすることでカードを操作することができる。また、カードの四隅をポイントしドラッグするとカードを回転することができる。また、フィールドに対し図形や文字をフリーハンドで描画することができる。
【0029】
カードにリンクアノテーションを付与するには、フィールド上のカードを2つ以上選ぶ。まず、ユーザはリンクの始点となるカードを選択しポイントする。次にリンクの終点となる別のカードを選択しポイントする。リンクの始点と終点となるカードを確認し、リンクを付与する場合には終点となるカードをもう一度ポイントするとこれらのカードにリンクが付与される。
【0030】
図5にカードのアノテーション付与ウィンドウの一例を示す。フィールド上のカードをダブルクリックするとアノテーション付与ウィンドウが開く。アノテーションウィンドウでは、カードに直接描画することで描画アノテーションを付与することやカード全体や一部に対してテキストアノテーションを付与することができる。
【0031】
当然のことながらアノテーションは、各カードと関連付けてデータベースやサーバ等に記録されて、適宜読み出すことができる。
【0032】
3.一実験例
ワークショップのリフレクションツールとして、本発明によるワークショップリフレクターの特徴を示すため、タイムラインリフレクターとカードリフレクターによるリフレクションを行った。実験では、テーマを2つ(テーマA、テーマB)用意し、2グループでそれぞれのリフレクターを用いてリフレクションを行った。両方のリフレクターの利用方法の詳細を説明した後、各被験者にペンタブレット入力用のペンを配布し、それぞれのツールにおける操作履歴を記録した。テーマへの依存を考慮し、各グループのリフレクションのテーマと利用ツールを表1に示す。また、リフレクション終了後にカードリフレクターとタイムラインリフレクターのリフレクション効果や使用感に関するアンケートを行った。
【0033】
【表1】
【0034】
3.1 実験結果
表2にカードリフレクターのフィールドおよびカードへのアノテーション数とタイムラインリフレクターの画像へのアノテーション数とリフレクションにかかった時間を示す。なお、Cはカードリフレクター、Tはタイムラインリフレクターを示す。
【0035】
【表2】
【0036】
テーマA、テーマBともカードリフレクターによるアノテーション数はタイムラインリフレクターを上回った。一方、画像に対し付与されたアノテーションの数はタイムラインリフレクターがカードリフレクターを上回った。
【0037】
カードリフレクターによりリフレクションを行った結果得られたカードの最終的な配置の例として、グループ2のカードリフレクターの様子を図7に示す。またツール利用後のアンケートでは、リフレクターに対し以下のような意見が得られた。
・カードリフレクターではカードの関係を構造的に俯瞰でき、全体をまとめたリフレクションができる。
・カードを並び替えて構造的に理解するため、カードへコメントする機会が少なくなるが、その替わりにフィールドへのアノテーションの機会が多くなる。
・カードリフレクターでは構造的な俯瞰により、活動プロセスを振り返る上で不足している要素が明確になる。
・タイムラインリフレクターでは活動の変遷を俯瞰することが容易である。
【0038】
評価実験において、タイムラインリフレクターでは、シーケンシャルにデータが提示されるので提示されているデータに集中してリフレクションでき、個々の活動プロセスに対するコミュニケーションが活性化するシーンが見られた。一方カードリフレクターでは、活動プロセス全体を通じてカードを配置し、リフレクションを行うシーンが見られた。
【0039】
評価実験では、カードリフレクターを用いて、グループ1、グループ2ともにフィールドへのアノテーションが集まった。カードの移動は6秒に1度の間隔で行われていた。また、リフレクション時間はタイムラインリフレクターに比べカードリフレクターのほうが長かった。これはユーザがカードの移動やグルーピングすることで、カードを様々な視点によりカードを構造化しようとしていたことを示している。
【0040】
タイムラインリフレクターでは、活動プロセス自体に対しアノテーションが付与される様子がよく見られた。被験者のコメントにあるように、タイムラインリフレクターを通じて活動の変遷を見つけることができたと考えられる。
【0041】
この実験から、時間配置による表現はプロセスの変遷のような時間的な変化を詳細に捉える場合に役立つことがわかった。また、構造配置による表現では、ユーザはカードの移動やグルーピングを通じ、活動プロセスの関係性や構造化を考え振り返る場合に役立つことがわかった。よって、時系列による可視化とカードによる可視化を併用することが、活動プロセスのリフレクションに効果的であると考えられる。
【0042】
4.タイムラインリフレクターおよびカードリフレクターに関する各種処理フロー
ここでは、上述したタイムラインリフレクターおよびカードリフレクターのための各種処理のフローについて、図7〜図15を参照しながら説明する。これらの処理を実行するタイムラインリフレクターおよびカードリフレクターを組み合わせたワークショップリフレクターのシステム概略構成の一例は図16に示す。このシステム構成における各機能は、たとえば各々個別の装置やデバイス、あるいは一体型システムないし装置に組み込まれる各機能実行部などとして、あるいは各機能をコンピュータに実行させるプログラムなどといった様々な実施形態を考慮できるが、その実施形態によって各処理、機能を特徴とする本発明が限定されるものでないことは言うまでもない。
【0043】
4.1 ワークショップデータ登録(図7参照)
まず、ワークショップの活動プロセスに関するデータを登録する。
【0044】
ステップ1:ワークショップに関する情報(開催日、開始時刻、終了時刻、ワークショップの概要等)を入力して登録する。
【0045】
ステップ2:ワークショップに関わった人物(記録者、参加者など)の情報(氏名、ニックネーム等)を登録する。
【0046】
ステップ3:各種デバイスないしセンサ(デジタルカメラ、ビデオカメラ、マイク、加速度センサなど)を用いて記録した、画像、映像、音声、文字等の活動プロセスを表す各種データであるコンテンツを入力する。
【0047】
ステップ4:各入力コンテンツから、各々の日時、時間、種類等のメタデータを自動抽出する。
【0048】
ステップ5:メタデータの自動抽出に成功したか否かを判断する。メタデータは、デジタルカメラ等の入力デバイス/センサによりコンテンツ登録時に自動的に付与されていれば、自動抽出が可能となる。
【0049】
ステップ6:メタデータの自動抽出ができなかった場合には、ユーザがメタデータを手動入力する。
【0050】
ステップ7:各コンテンツに対応させて、ワークショップ名や撮影者名等のメタデータとは別の識別データを入力する。これは自動/手動を問わない。
【0051】
ステップ8:以上のコンテンツ及びデータを互いに関連付けてデータベースに登録する。
【0052】
なお、このデータ登録では、各コンテンツについて、上記メタデータ以外のアノテーションを自動付与して同様にデータベースに登録しておいてもよい。自動アノテーションとしては、たとえば、
・写真中の顔認識、特定の物の認識、Watermarking(電子透かし)情報の検出、文字認識
など
・音響信号からの特定音の認識、音声認識など
・動画像に関して上記両者の認識、推定など
・ペンタブレットやマウス等の入力デバイスを介した描画データの構造抽出、文字認識等の特徴抽出など
・さらに、各種センサデータのパターン認識結果を統合的に比較検討することで人物の位置推定など
といったものを考慮でき、これらを自動的に初期アノテーションとして付与し、データベースに登録する。
【0053】
4.2 タイムラインリフレクターの表示(図8参照)
次に、登録されたワークショップ毎のコンテンツをタイムラインリフレクターとして表示する。
【0054】
ステップ11:ワークショップを選択する。
【0055】
ステップ12:選択したワークショップに登録されているコンテンツ群の中から表示させたいコンテンツを選択する。この選択は、たとえば予め登録してあるワークショップの基本データをキーにして行う。
【0056】
ステップ13:データベースから選択された表示対象コンテンツを検索する。
【0057】
ステップ14:検索されたコンテンツを時間順に表示する。
【0058】
ステップ15:検索されたコンテンツのタイムラインを表示する。具体的にはたとえば、検索されたコンテンツに対応するメタデータであるタイムコードをデータベースから読み出し、タイムコードで示される時間に基づいて、タイムライン上の該当するコンテンツが存在する時間の位置にマークを表示する。このマークをクリック等により選択するとコンテンツが表示されるようにもできる。
【0059】
ステップ16:選択したコンテンツが全て表示されたか否かを判断する。全て表示されていなければステップ13から繰り返し、全て表示された時点で終了する。
【0060】
4.3 コンテンツへのアノテーション(図9参照)
次に、タイムラインリフレクター上に表示されたコンテンツに対してユーザが手動でアノテーションを付与する。
【0061】
ステップ21:アノテーションを付与したいコンテンツを選択する。
【0062】
ステップ22:選択したコンテンツ内にてさらに対象となる矩形範囲を選択する。例示では、画像コンテンツに映し出されているある人物像を矩形選択している。
【0063】
ステップ23:選択するとアノテーションウィンドウがポップアップ表示されるので、そのアノテーションウィンドウ上に表示されている時間範囲入力枠に時間範囲を選択入力する。
【0064】
ステップ24:さらにアノテーションウィンドウが自由記述モードになっているか否かを判断する。
【0065】
ステップ25:自由記述モードになっていれば、自由にアノテーションテキストを入力する。
【0066】
ステップ26:自由記述モードになっていなければ、予めワークショップ毎に登録されている人物(記録者、参加者など)の人名リストが自動表示される。
【0067】
ステップ27:表示された人名リストから、矩形範囲内の人物像に対応する人名を選択する。
【0068】
ステップ28:入力が行われたか否かを確認する。
【0069】
ステップ29:入力データを選択コンテンツ内の選択矩形範囲に対応させてデータベースに登録する。
【0070】
上記各種選択や入力は、マウスのクリック、キーボードの入力等の入力デバイスの操作により実行することができ、入力データは記憶手段に随時記憶される。また、コンテンツ内から選択する範囲は矩形に限定されるものではなく、円形や楕円形、その他の自由形状であってもよい。
【0071】
4.4 アノテーションのカード化(図10参照)
次に、データベースに登録されたタイムラインリフレクター上のアノテーションが付与されたコンテンツデータをカード化する。
【0072】
ステップ31:ワークショップを選択する。
【0073】
ステップ32:選択したワークショップに対応するコンテンツリストをデータベースから読み出す。
【0074】
ステップ33:コンテンツ(1...n)
ステップ34:各コンテンツについて、付与されたアノテーションがN個以上あるか否かを判断する。
【0075】
ステップ35:N個以上あれば、該当するコンテンツを、N個以上のアノテーションを持つカードとしてカードリストに追加する。
【0076】
ステップ36:全てのコンテンツをチェック済みか判断する。チェック済みでなければ、ステップ34から繰り返す。
【0077】
ステップ37:チェック済みであれば、カードリストのカードをデータベースに登録する。
【0078】
4.5 カードリフレクターの表示(図11参照)
次に、データベースに登録されたカードをカードリフレクターに表示する。
【0079】
ステップ41:ワークショップを選択する。
【0080】
ステップ42:2次元ないし3次元の仮想フィールド(図11では2次元の矩形平面フィールドを例示)を作成する。
【0081】
ステップ43:選択されたワークショップに対応するカードリストのカード、つまりN個以上のアノテーションを持つコンテンツのカードをデータベースから検索する。
【0082】
ステップ44:読み出したカードをフィールド上に配置する。ここで、予め各カードの配置位置(x,y座標など)が決められていればそれに従い、決められていない場合にはランダムにフィールド上に配置する。
【0083】
ステップ45:データベースから手書き描画情報を検索する。
【0084】
ステップ46:読み出した手書き描画情報に基づき手書き描画を実行する。手書き描画についてはさらに後述する。
【0085】
ステップ47:データベースからリンク情報を検索する。
【0086】
ステップ48:読み出したリンク情報に基づきカード間にリンクを描画する。リンク描画についてはさらに後述する。
【0087】
4.6 アノテーション:手書き描画(図12参照)
カードリフレクターのフィールド上に表示されている各カードに対して手書き描画の追加アノテーションを付与する。
【0088】
ステップ51:パレットから色を選択する。
【0089】
ステップ52:ペンタブレットやマウス等の入力デバイスにより、フィールド上に表示されている各カードに対して任意の手書き描画を入力する。
【0090】
ステップ53:入力デバイスからの入力に従って手書き描画を実行する。
【0091】
ステップ54:手書き描画情報を追加アノテーションとして各カードと関連付けてデータベースに登録する。
【0092】
4.8 アノテーション:カード間リンク(図13参照)
カードリフレクターのフィールド上に表示されている各カードに対してカード間リンクの追加アノテーションを付与する。
【0093】
ステップ61:入力デバイスにより、フィールド上に表示されているカードの中から、リンクの始点となるカードを選択する。
【0094】
ステップ62:同様にリンクの終点となるカードを選択する。
【0095】
ステップ63:確認OKか否かを判断し、OKでなければステップ71から繰り返す。
【0096】
ステップ64:選択した始点カードから終点カードを結ぶリンクを描画する。
【0097】
ステップ65:リンク情報を各カードと関連付けてデータベースに登録する。
【0098】
4.9 アノテーション:カード配置(図14参照)
カードリフレクターのフィールド上に表示されている各カードの位置や角度を指定して配置を行う。
【0099】
ステップ71:入力デバイスにより、位置や角度を指定したいカードをフィールド上のカード群から選択する。
【0100】
ステップ72:入力デバイスの操作により、選択したカードを移動させる。
【0101】
ステップ73:同様に、選択したカードの角度を変更する。
【0102】
ステップ74:x,y座標、回転角度等の位置情報および角度情報を各カードと関連付けてデータベースに登録する。
【0103】
4.10 アノテーション:テキスト入力(図15参照)
カードリフレクターのフィールド上に表示されている各カードに対してテキストによる追加アノテーションを付与する。
【0104】
ステップ81:テキストアノテーションを付与したいカードを選択する。
【0105】
ステップ82:カードつまりコンテンツを拡大表示する。
【0106】
ステップ83:前述と同様にコンテンツ内の更なる対象範囲として矩形等の範囲を選択する。
【0107】
ステップ84:テキスト入力ウィンドウが表示され、そこにテキストを入力する。
【0108】
ステップ85:入力を確認する。
【0109】
ステップ86:入力テキストデータを各カードと関連付けてデータベースに登録する。
【図面の簡単な説明】
【0110】
【図1】本発明のベースとなるワークショップにおける活動プロセスのリフレクションの仕組みについて説明するための図。
【図2】本発明によるタイムラインレフレクターの表示の一例を示す図。
【図3】本発明によるタイムラインリフレクター上でのアノテーションの一例を示す図。
【図4】本発明によるカードリフレクターの表示の一例を示す図。
【図5】本発明によるカードへのアノテーションの一例を示す図。
【図6】本発明によるカードリフレクターの表示の一例を示す図。
【図7】本発明におけるコンテンツ登録処理の一例について説明するフローチャート。
【図8】本発明におけるタイムラインリフレクター表示処理の一例について説明するフローチャート。
【図9】本発明におけるコンテンツへのアノテーション処理の一例について説明するフローチャート。
【図10】本発明におけるアノテーションのカード化処理の一例について説明するフローチャート。
【図11】本発明におけるカードリフレクター表示処理の一例について説明するフローチャート。
【図12】本発明におけるカードリフレクターの手書き描画アノテーション処理の一例について説明するフローチャート。
【図13】本発明におけるカードリフレクターのカード間リンクアノテーション処理の一例について説明するフローチャート。
【図14】本発明におけるカードリフレクターのカード配置処理の一例について説明するフローチャート。
【図15】本発明におけるカードリフレクターのテキストアノテーション処理の一例について説明するフローチャート。
【図16】本発明について説明するためのシステムブロック図。
【技術分野】
【0001】
本発明は、ワークショップにおける活動についてのリフレクションを、時間配置と構造配置による表現を融合することにより支援する仕組みである「ワークショップリフレクター」を提供することのできるシステムに関するものである。
【背景技術】
【0002】
1960年代以降、世界中の様々な分野においてワークショップと呼ばれる参加体験型の学習や創造活動の場が広がりを見せている。ワークショップを開催する目的も様々であり、企業研修のグループワークのように意見表出や問題解決のトレーニングとして利用することや、地域住民が主体的にまちづくりの計画や製作の策定を行う場として利用されることもある。近年では特に、市民の表現活動や創作活動の活性化を目的としたワークショップが盛んに開催されており、例えば、子どもを対象に創造性や表現力を引き出すワークショップを定期的に提供していたり、映像を用いたストーリーテリングのワークショップを提供していたりする。
【0003】
このようなワークショップにおいては、参加者の創造性や表現力の向上だけでなく、体験共有やコミュニケーションの活性化といった参加者同士の相互作用を目指すこともできる。
【0004】
表現活動や創造活動を活性化するという文脈では、自己の活動を認知的アプローチにより振り返ることが有効である。このような振り返りをリフレクションと呼ぶ。また、自己の活動振り返って言語化することは学習を促進する。
【0005】
表現活動ということに焦点を絞ると、ワークショップのリフレクションは以下の二つに分かれると考えられる。
・ワークショップで表現活動を行った参加者自身によるリフレクション
・ワークショップという表現の場を提供したファシリテータ(司会進行役等)たちによるリフレクション
特に、ファシリテータはワークショップで重要な役割を担う。リフレクションによって、ファシリテータたちが自分たちの活動を振り返りワークショップの進行上の良かった点、悪かった点などを内省することを通じて、ファシリテータ自身のスキルを学習することが、ワークショップの効果的な運用につながると考えられる。
【0006】
リフレクションは複数のファシリテータで行われるため、時間軸に沿った多視点かつ協働できる枠組みが有効である。また、協働で活動プロセスを構造的に扱う仕組みとして、KJ法のようなカードベースの構造配置による表現が有効である。
【発明の開示】
【発明が解決しようとする課題】
【0007】
そこで、本発明は、ワークショップにおける活動についてのリフレクションを、時間配置と構造配置による表現を融合することにより支援する仕組み「ワークショップリフレクター」を実現する活動プロセスリフレクション支援システムを提供する。これによれば、ワークショップ中に記録した写真やビデオを時間配置で表現する「タイムラインリフレクター」と、ワークショップ中のイベントをカードとして表現し構造配置する「カードリフレクター」を組み合わせて、活動プロセスをリフレクションする仕組みを実現することができる。
【課題を解決するための手段】
【0008】
本発明は、上記の課題を解決するものとして、第1には、
ユーザの活動プロセスに関するデータを記録する記録装置と、
記録されたデータに対してアノテーションを自動付与するオートアノテーション装置と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示装置と、
提示されたタイムライン上のデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション装置と、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示装置と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション装置と
を備える、活動プロセスリフレクション支援システムを提供する。
【0009】
第2には、
ユーザの活動プロセスに関するデータを記録し、記録されたデータに対してアノテーションを自動付与し、記録されたデータおよびアノテーションを時間軸に沿って提示し、提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインリフレクターと、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードリフレクターと
を備える、活動プロセスリフレクション支援システムを提供する。
【0010】
第3には、
ユーザの活動プロセスに関するデータを記録し、
記録したデータに対してアノテーションを自動付与し、
記録したデータおよびアノテーションを時間軸に沿って提示し、
提示したデータに対してユーザ任意のアノテーションを付与し、
記録したデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、
提示した仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与する、
活動プロセスリフレクション支援方法を提供する。
【0011】
第4には、前記方法をコンピュータに実行させるプログラムならびに該プログラムを記録したコンピュータ読取可能な記録媒体を提供する。
【発明を実施するための最良の形態】
【0012】
1.ワークショップのリフレクションの支援
1.1 ワークショップの実例
ここで対象とするワークショップの一例は、室内で実施される参加者数十人規模の参加体験型創造活動である。このようなワークショップでは、ファシリテータと呼ばれるワークショップの設計者および司会者がテーマを設け、参加者が作品を仕上げる過程を通じて、学習やコミュニケーションの活性化を図る。たとえば、実際に開催されたあるワークショップは、「子育てにやさしい町をつくりたい」というテーマのもと、中学生の「子育て」に対する関心を高めることを目的として、参加者たちが、自身の幼児期について調べ、当時の写真や親から聞いた子どものころの様子を作品として作成し、発表した。
【0013】
ワークショップ中に記録した1000枚を超える写真の多くは、参加者たちが作品を作成する様子や、参加者同士やファシリテータとの対話の様子が中心的だった。このことから、ファシリテータが注目する点は、作品が出来上がる過程、および参加者やファシリテータの対話であると考えられる。さらに、ファシリテータにインタビューを行った結果、このようなワークショップのリフレクションにおいて、以下の要素が必要であるとわかった。
・作品を作成する過程に対する註釈の付与
・参加者の動きや対話に対する註釈の付与
・同時に複数個所で起こるイベントの俯瞰
・ワークショップ中のイベントの切り出し
・時間的に離れているイベント間の関連付け
1.2 ワークショップのリフレクションシステムの全体像
前述のリフレクションに必要な要素をふまえ、本発明では、ワークショップにおける活動プロセスのリフレクションの仕組みを図1のように想定している。この仕組みでは、ワークショップで記録されたコンテンツを、リフレクションの目的に応じて時間配置と構造配置により表現し、組み合わせることで効果的なリフレクションを目指している。
【0014】
まず、カメラやマイク、ペンタブレットなどの画像、映像、音声、文字等の入力及び記録のための各種デバイスないしセンサを用いて、ワークショップの活動プロセス(時間を含む)をサーバやデータベース等に記録する。次に、記録したセンサデータに対し、アノテーションの自動付与を行う。アノテーションの自動付与における本発明が想定するデータ処理の例を以下にあげる。
・文字が書かれた写真をスキャナで取り込んだデータの文字認識
・タブレットのオンライン文字認識
・写真中の人の顔検出
・音響データからの音声認識
・センシングデータからのユーザの位置や向きの推定
これら各種データ処理には、文字や画像(ここでは適宜「画像」と総称する)、物音や音声(ここでは適宜「音声」と総称する)、位置や方向、角度(ここで適宜「位置」と総称する)などといった、センサデータ固有のアノテーションを認識、判定、推定等するあらゆる公知の技術を利用することができる。位置推定技術の一例としてはたとえばNishimura, T., Nakamura, Y., Tomobe, H.,Kurata, T., Okuma, T. and Matsuo, Y."Location
Estimation using Auditory Signal Emitted and Received by All Objects", Proc. Of
INSS’07 (2007)を参照。
【0015】
ユーザはアノテーションが自動付与されたデータ、および映像や音声などのデータ自体を用いてリフレクションを行う。まず、ユーザは「タイムラインリフレクター」を用いて、ワークショップの活動をリフレクションする。タイムラインリフレクターは、ワークショップ時に記録されたセンサデータを時系列に配置し、時間軸に沿ってデータを提示することにより、活動を振り返ることができるツールである。ユーザは、コンピューディスプレイ等に表示されたタイムラインリフレクター上で提示された映像や音声から、ワークショップ中の特徴的なイベントを抽出し、ユーザ自身の解釈や印象を加える。これにより、ワークショップの活動プロセスがセグメンテーションされる。ユーザによる抽出や入力はキーボードやマウス等の各種入力デバイスを介してタイムラインリフレクター上で行われ、センサデータと関連付けて記憶手段に記憶されることでセグメンテーションが実現される。
【0016】
次に、ユーザは「カードリフレクター」を用いて活動プロセスのリフレクションを行う。カードリフレクターは、タイムラインリフレクターでセグメンテーションされた活動プロセスをカード化し、つまりセグメンテーション後の各センサデータを擬似的に一つのカードとして見なし、ディスプレイ等に表示される2次元の仮想フィールド上に各カードを配置し、各カードに対して更に解釈や印象をアノテーションとして加えることによりリフレクションを可能にするツールである。本発明では、カードリフレクターとタイムラインリフレクターを組み合わせてリフレクションするシステムをワークショップリフレクターと呼ぶ。
【0017】
2.ワークショップリフレクター
2.1 時間配置によるワークショップの表現:タイムラインリフレクター
ワークショップのリフレクションでは、時間軸上で特徴的な出来事を抽出できる必要がある。そこでタイムラインリフレクターでは、ワークショップ中に記録した映像や音声などのデータを時系列に配置し、時間軸に沿ってデータに対し解釈や印象などのアノテーションをユーザが付与することで特徴的な出来事を抽出する。以下にタイムラインリフレクターに必要な機能をあげる。
【0018】
<映像や音声などのデータの時系列表示>
タイムラインリフレクターでは、時間をインデックスとして時系列でデータを配置することにより、同時間に記録された映像や音声などを並列に表示して、ユーザが閲覧できる。
【0019】
<解釈や印象などのアノテーションの付与>
映像や音声などのデータに対してテキストやフリーハンドによるアノテーションを付与できる。アノテーションは映像や音声などのデータ全体かデータの一部(時間範囲や矩形範囲)に対し付与される。これにより、実世界の特徴的な活動を切り出すことができ、ワークショップのセグメンテーションを実現できる。
【0020】
<映像や音声などのデータの検索>
ユーザはタイムライン上に配置された映像や音声のデータを、時間をキーにして検索することができる。また、ユーザは自動アノテーションや付与したアノテーションから映像や音声の検索ができる。例えば、インデックスとして利用される時間以外に、文字情報や顔などの画像情報、位置情報に基づいたデータ検索ができる。
【0021】
図2にタイムラインリフレクターの一実施例であるコンピュータディスプレイ上の表示例を示す。タイムラインリフレクターの本実施例では、動画や静止画、音声、位置情報などのデータが記録された時間をもとにタイムラインを表示する。また、各データは平行して閲覧できるように表示される。
【0022】
この表示例では、タイムライン上からデータを選択しマウス等によりクリックすると、時間をインデックスとしてデータベース等から抽出された対応する動画や静止画が拡大表示される。拡大表示されたデータに対し、マウス操作等を介して任意の矩形範囲を指定することでアノテーションウィンドウが開く。アノテーションウィンドウでデータや指定した範囲に関する解釈や説明をキーボード等によりテキストで入力できる。また、アノテーションウィンドウ上にて開始時間と終了時間を設定することにより、時間範囲を指定することもできる。時間範囲が指定されたアノテーションは、タイムラインリフレクター上では指定された時間範囲のみ表示される。すなわち、抽出したセンサデータに対してユーザ任意の情報を時間とともに入力、指定してアノテーションを実行することができる。アノテーションの様子を図3に示す。このアノテーションをもとに、カードリフレクター上にカードが生成される。
【0023】
2.2 構造配置によるワークショップの表現:カードリフレクター
タイムラインリフレクターによりセグメンテーションされたワークショップの活動プロセスをリフレクションするためには、さらにユーザの解釈や意図を直感的に付与できる仕組みが必要であると考えられる。例えば、KJ法のように、データやアイデアをカードとして2次元上のフィールドに表現し配置する手法は、直感的な思考を行うために有効であると考えられる。そこでユーザは、カードリフレクターを用いて、計算機上の仮想的な机(フィールド)の上で、活動プロセスをカードとして配置し、関係のあるカードを近くに配置することや、アノテーションにより解釈や意図をカードに加えることで、ワークショップの活動を構造化し、直感的な思考を行うことができる。なお、カードを配置するフィールドは、2次元平面空間フィールドだけでなく、3次元立体空間フィールドとしてもよいことはいうまでもない。以下にカードリフレクターに必要な機能をあげる。
【0024】
<新しいカードの作成>
タイムラインリフレクターを用いて、ユーザは活動プロセスをセグメンテーションする。このセグメンテーションした活動プロセスは、カードリフレクター上ではカードとして表現される。それぞれのカードはワークショップ中に記録された映像や音声などのセンサデータを持つ。
【0025】
<カードの移動とグルーピング>
ユーザはカードリフレクターのフィールド上でカードを直感的に操作できる。例えば、関連性の強い活動プロセスのカードを近くに移動させることができる。また、カードの角度を変化させることにより、対面テーブルなどで用いてリフレクションする場合に対面にいるユーザにカードを提示することできる。さらに、活動プロセスを構造化するためにはカードのグルーピングが望ましい。グルーピングは関係するカードを円で囲むといった簡単な操作で実現される。これらの操作はマウスやキーボード等の各種入力デバイスを介して行うことができる。
【0026】
<アノテーションの追加>
活動プロセスの解釈や意図として、ユーザはテキストやリンク、描画アノテーションを付与することができる。テキストアノテーションと描画アノテーションは、カード全体やカードの一部に対して付与される。関係あるカードにリンクアノテーションを用いることにより、ワークショップの活動プロセスはネットワーク状になり、ユーザは構造的に俯瞰することができる。また、フリーハンドによる描画アノテーションは活動プロセスへの解釈を直感的に付与することができる。さらにカードが配置されているフィールド(仮想的な机)へも直接描画アノテーションを加えることにより、ユーザは活動プロセスの構造化を支援する情報を付与できる。
【0027】
<カードやアノテーションの検索>
ユーザが目的のカードを容易に操作するために、カードやアノテーションの検索が必要である。ユーザはテキストのキーワードによる検索だけでなく、リンク構造に基づくカードの検索も必要である。さらに、前述の自動アノテーションデータベースから、ユーザが描画した情報をクエリとした類似描画検索、ユーザがアップした写真、音響、動画との類似関連データの検索も、莫大なデータからユーザが関心あるデータを発見したい場合に役立つ。
【0028】
図4にカードリフレクターの表示の一例を示す。カードリフレクターの入力操作はペンタブレット等を用いて行う。リフレクション時の操作はペンタブレット等をユーザが共有して入力する。ユーザはそれぞれIDが記録されているペン等により入力を行うことができ、これにより、全ての操作について操作を行ったユーザを互いに関連付けてデータベース等に記録することができ、このデータに基づいて各操作を行った各ユーザを特定することが可能である。ユーザはカードの中心をポイントしドラッグすることでカードを操作することができる。また、カードの四隅をポイントしドラッグするとカードを回転することができる。また、フィールドに対し図形や文字をフリーハンドで描画することができる。
【0029】
カードにリンクアノテーションを付与するには、フィールド上のカードを2つ以上選ぶ。まず、ユーザはリンクの始点となるカードを選択しポイントする。次にリンクの終点となる別のカードを選択しポイントする。リンクの始点と終点となるカードを確認し、リンクを付与する場合には終点となるカードをもう一度ポイントするとこれらのカードにリンクが付与される。
【0030】
図5にカードのアノテーション付与ウィンドウの一例を示す。フィールド上のカードをダブルクリックするとアノテーション付与ウィンドウが開く。アノテーションウィンドウでは、カードに直接描画することで描画アノテーションを付与することやカード全体や一部に対してテキストアノテーションを付与することができる。
【0031】
当然のことながらアノテーションは、各カードと関連付けてデータベースやサーバ等に記録されて、適宜読み出すことができる。
【0032】
3.一実験例
ワークショップのリフレクションツールとして、本発明によるワークショップリフレクターの特徴を示すため、タイムラインリフレクターとカードリフレクターによるリフレクションを行った。実験では、テーマを2つ(テーマA、テーマB)用意し、2グループでそれぞれのリフレクターを用いてリフレクションを行った。両方のリフレクターの利用方法の詳細を説明した後、各被験者にペンタブレット入力用のペンを配布し、それぞれのツールにおける操作履歴を記録した。テーマへの依存を考慮し、各グループのリフレクションのテーマと利用ツールを表1に示す。また、リフレクション終了後にカードリフレクターとタイムラインリフレクターのリフレクション効果や使用感に関するアンケートを行った。
【0033】
【表1】
【0034】
3.1 実験結果
表2にカードリフレクターのフィールドおよびカードへのアノテーション数とタイムラインリフレクターの画像へのアノテーション数とリフレクションにかかった時間を示す。なお、Cはカードリフレクター、Tはタイムラインリフレクターを示す。
【0035】
【表2】
【0036】
テーマA、テーマBともカードリフレクターによるアノテーション数はタイムラインリフレクターを上回った。一方、画像に対し付与されたアノテーションの数はタイムラインリフレクターがカードリフレクターを上回った。
【0037】
カードリフレクターによりリフレクションを行った結果得られたカードの最終的な配置の例として、グループ2のカードリフレクターの様子を図7に示す。またツール利用後のアンケートでは、リフレクターに対し以下のような意見が得られた。
・カードリフレクターではカードの関係を構造的に俯瞰でき、全体をまとめたリフレクションができる。
・カードを並び替えて構造的に理解するため、カードへコメントする機会が少なくなるが、その替わりにフィールドへのアノテーションの機会が多くなる。
・カードリフレクターでは構造的な俯瞰により、活動プロセスを振り返る上で不足している要素が明確になる。
・タイムラインリフレクターでは活動の変遷を俯瞰することが容易である。
【0038】
評価実験において、タイムラインリフレクターでは、シーケンシャルにデータが提示されるので提示されているデータに集中してリフレクションでき、個々の活動プロセスに対するコミュニケーションが活性化するシーンが見られた。一方カードリフレクターでは、活動プロセス全体を通じてカードを配置し、リフレクションを行うシーンが見られた。
【0039】
評価実験では、カードリフレクターを用いて、グループ1、グループ2ともにフィールドへのアノテーションが集まった。カードの移動は6秒に1度の間隔で行われていた。また、リフレクション時間はタイムラインリフレクターに比べカードリフレクターのほうが長かった。これはユーザがカードの移動やグルーピングすることで、カードを様々な視点によりカードを構造化しようとしていたことを示している。
【0040】
タイムラインリフレクターでは、活動プロセス自体に対しアノテーションが付与される様子がよく見られた。被験者のコメントにあるように、タイムラインリフレクターを通じて活動の変遷を見つけることができたと考えられる。
【0041】
この実験から、時間配置による表現はプロセスの変遷のような時間的な変化を詳細に捉える場合に役立つことがわかった。また、構造配置による表現では、ユーザはカードの移動やグルーピングを通じ、活動プロセスの関係性や構造化を考え振り返る場合に役立つことがわかった。よって、時系列による可視化とカードによる可視化を併用することが、活動プロセスのリフレクションに効果的であると考えられる。
【0042】
4.タイムラインリフレクターおよびカードリフレクターに関する各種処理フロー
ここでは、上述したタイムラインリフレクターおよびカードリフレクターのための各種処理のフローについて、図7〜図15を参照しながら説明する。これらの処理を実行するタイムラインリフレクターおよびカードリフレクターを組み合わせたワークショップリフレクターのシステム概略構成の一例は図16に示す。このシステム構成における各機能は、たとえば各々個別の装置やデバイス、あるいは一体型システムないし装置に組み込まれる各機能実行部などとして、あるいは各機能をコンピュータに実行させるプログラムなどといった様々な実施形態を考慮できるが、その実施形態によって各処理、機能を特徴とする本発明が限定されるものでないことは言うまでもない。
【0043】
4.1 ワークショップデータ登録(図7参照)
まず、ワークショップの活動プロセスに関するデータを登録する。
【0044】
ステップ1:ワークショップに関する情報(開催日、開始時刻、終了時刻、ワークショップの概要等)を入力して登録する。
【0045】
ステップ2:ワークショップに関わった人物(記録者、参加者など)の情報(氏名、ニックネーム等)を登録する。
【0046】
ステップ3:各種デバイスないしセンサ(デジタルカメラ、ビデオカメラ、マイク、加速度センサなど)を用いて記録した、画像、映像、音声、文字等の活動プロセスを表す各種データであるコンテンツを入力する。
【0047】
ステップ4:各入力コンテンツから、各々の日時、時間、種類等のメタデータを自動抽出する。
【0048】
ステップ5:メタデータの自動抽出に成功したか否かを判断する。メタデータは、デジタルカメラ等の入力デバイス/センサによりコンテンツ登録時に自動的に付与されていれば、自動抽出が可能となる。
【0049】
ステップ6:メタデータの自動抽出ができなかった場合には、ユーザがメタデータを手動入力する。
【0050】
ステップ7:各コンテンツに対応させて、ワークショップ名や撮影者名等のメタデータとは別の識別データを入力する。これは自動/手動を問わない。
【0051】
ステップ8:以上のコンテンツ及びデータを互いに関連付けてデータベースに登録する。
【0052】
なお、このデータ登録では、各コンテンツについて、上記メタデータ以外のアノテーションを自動付与して同様にデータベースに登録しておいてもよい。自動アノテーションとしては、たとえば、
・写真中の顔認識、特定の物の認識、Watermarking(電子透かし)情報の検出、文字認識
など
・音響信号からの特定音の認識、音声認識など
・動画像に関して上記両者の認識、推定など
・ペンタブレットやマウス等の入力デバイスを介した描画データの構造抽出、文字認識等の特徴抽出など
・さらに、各種センサデータのパターン認識結果を統合的に比較検討することで人物の位置推定など
といったものを考慮でき、これらを自動的に初期アノテーションとして付与し、データベースに登録する。
【0053】
4.2 タイムラインリフレクターの表示(図8参照)
次に、登録されたワークショップ毎のコンテンツをタイムラインリフレクターとして表示する。
【0054】
ステップ11:ワークショップを選択する。
【0055】
ステップ12:選択したワークショップに登録されているコンテンツ群の中から表示させたいコンテンツを選択する。この選択は、たとえば予め登録してあるワークショップの基本データをキーにして行う。
【0056】
ステップ13:データベースから選択された表示対象コンテンツを検索する。
【0057】
ステップ14:検索されたコンテンツを時間順に表示する。
【0058】
ステップ15:検索されたコンテンツのタイムラインを表示する。具体的にはたとえば、検索されたコンテンツに対応するメタデータであるタイムコードをデータベースから読み出し、タイムコードで示される時間に基づいて、タイムライン上の該当するコンテンツが存在する時間の位置にマークを表示する。このマークをクリック等により選択するとコンテンツが表示されるようにもできる。
【0059】
ステップ16:選択したコンテンツが全て表示されたか否かを判断する。全て表示されていなければステップ13から繰り返し、全て表示された時点で終了する。
【0060】
4.3 コンテンツへのアノテーション(図9参照)
次に、タイムラインリフレクター上に表示されたコンテンツに対してユーザが手動でアノテーションを付与する。
【0061】
ステップ21:アノテーションを付与したいコンテンツを選択する。
【0062】
ステップ22:選択したコンテンツ内にてさらに対象となる矩形範囲を選択する。例示では、画像コンテンツに映し出されているある人物像を矩形選択している。
【0063】
ステップ23:選択するとアノテーションウィンドウがポップアップ表示されるので、そのアノテーションウィンドウ上に表示されている時間範囲入力枠に時間範囲を選択入力する。
【0064】
ステップ24:さらにアノテーションウィンドウが自由記述モードになっているか否かを判断する。
【0065】
ステップ25:自由記述モードになっていれば、自由にアノテーションテキストを入力する。
【0066】
ステップ26:自由記述モードになっていなければ、予めワークショップ毎に登録されている人物(記録者、参加者など)の人名リストが自動表示される。
【0067】
ステップ27:表示された人名リストから、矩形範囲内の人物像に対応する人名を選択する。
【0068】
ステップ28:入力が行われたか否かを確認する。
【0069】
ステップ29:入力データを選択コンテンツ内の選択矩形範囲に対応させてデータベースに登録する。
【0070】
上記各種選択や入力は、マウスのクリック、キーボードの入力等の入力デバイスの操作により実行することができ、入力データは記憶手段に随時記憶される。また、コンテンツ内から選択する範囲は矩形に限定されるものではなく、円形や楕円形、その他の自由形状であってもよい。
【0071】
4.4 アノテーションのカード化(図10参照)
次に、データベースに登録されたタイムラインリフレクター上のアノテーションが付与されたコンテンツデータをカード化する。
【0072】
ステップ31:ワークショップを選択する。
【0073】
ステップ32:選択したワークショップに対応するコンテンツリストをデータベースから読み出す。
【0074】
ステップ33:コンテンツ(1...n)
ステップ34:各コンテンツについて、付与されたアノテーションがN個以上あるか否かを判断する。
【0075】
ステップ35:N個以上あれば、該当するコンテンツを、N個以上のアノテーションを持つカードとしてカードリストに追加する。
【0076】
ステップ36:全てのコンテンツをチェック済みか判断する。チェック済みでなければ、ステップ34から繰り返す。
【0077】
ステップ37:チェック済みであれば、カードリストのカードをデータベースに登録する。
【0078】
4.5 カードリフレクターの表示(図11参照)
次に、データベースに登録されたカードをカードリフレクターに表示する。
【0079】
ステップ41:ワークショップを選択する。
【0080】
ステップ42:2次元ないし3次元の仮想フィールド(図11では2次元の矩形平面フィールドを例示)を作成する。
【0081】
ステップ43:選択されたワークショップに対応するカードリストのカード、つまりN個以上のアノテーションを持つコンテンツのカードをデータベースから検索する。
【0082】
ステップ44:読み出したカードをフィールド上に配置する。ここで、予め各カードの配置位置(x,y座標など)が決められていればそれに従い、決められていない場合にはランダムにフィールド上に配置する。
【0083】
ステップ45:データベースから手書き描画情報を検索する。
【0084】
ステップ46:読み出した手書き描画情報に基づき手書き描画を実行する。手書き描画についてはさらに後述する。
【0085】
ステップ47:データベースからリンク情報を検索する。
【0086】
ステップ48:読み出したリンク情報に基づきカード間にリンクを描画する。リンク描画についてはさらに後述する。
【0087】
4.6 アノテーション:手書き描画(図12参照)
カードリフレクターのフィールド上に表示されている各カードに対して手書き描画の追加アノテーションを付与する。
【0088】
ステップ51:パレットから色を選択する。
【0089】
ステップ52:ペンタブレットやマウス等の入力デバイスにより、フィールド上に表示されている各カードに対して任意の手書き描画を入力する。
【0090】
ステップ53:入力デバイスからの入力に従って手書き描画を実行する。
【0091】
ステップ54:手書き描画情報を追加アノテーションとして各カードと関連付けてデータベースに登録する。
【0092】
4.8 アノテーション:カード間リンク(図13参照)
カードリフレクターのフィールド上に表示されている各カードに対してカード間リンクの追加アノテーションを付与する。
【0093】
ステップ61:入力デバイスにより、フィールド上に表示されているカードの中から、リンクの始点となるカードを選択する。
【0094】
ステップ62:同様にリンクの終点となるカードを選択する。
【0095】
ステップ63:確認OKか否かを判断し、OKでなければステップ71から繰り返す。
【0096】
ステップ64:選択した始点カードから終点カードを結ぶリンクを描画する。
【0097】
ステップ65:リンク情報を各カードと関連付けてデータベースに登録する。
【0098】
4.9 アノテーション:カード配置(図14参照)
カードリフレクターのフィールド上に表示されている各カードの位置や角度を指定して配置を行う。
【0099】
ステップ71:入力デバイスにより、位置や角度を指定したいカードをフィールド上のカード群から選択する。
【0100】
ステップ72:入力デバイスの操作により、選択したカードを移動させる。
【0101】
ステップ73:同様に、選択したカードの角度を変更する。
【0102】
ステップ74:x,y座標、回転角度等の位置情報および角度情報を各カードと関連付けてデータベースに登録する。
【0103】
4.10 アノテーション:テキスト入力(図15参照)
カードリフレクターのフィールド上に表示されている各カードに対してテキストによる追加アノテーションを付与する。
【0104】
ステップ81:テキストアノテーションを付与したいカードを選択する。
【0105】
ステップ82:カードつまりコンテンツを拡大表示する。
【0106】
ステップ83:前述と同様にコンテンツ内の更なる対象範囲として矩形等の範囲を選択する。
【0107】
ステップ84:テキスト入力ウィンドウが表示され、そこにテキストを入力する。
【0108】
ステップ85:入力を確認する。
【0109】
ステップ86:入力テキストデータを各カードと関連付けてデータベースに登録する。
【図面の簡単な説明】
【0110】
【図1】本発明のベースとなるワークショップにおける活動プロセスのリフレクションの仕組みについて説明するための図。
【図2】本発明によるタイムラインレフレクターの表示の一例を示す図。
【図3】本発明によるタイムラインリフレクター上でのアノテーションの一例を示す図。
【図4】本発明によるカードリフレクターの表示の一例を示す図。
【図5】本発明によるカードへのアノテーションの一例を示す図。
【図6】本発明によるカードリフレクターの表示の一例を示す図。
【図7】本発明におけるコンテンツ登録処理の一例について説明するフローチャート。
【図8】本発明におけるタイムラインリフレクター表示処理の一例について説明するフローチャート。
【図9】本発明におけるコンテンツへのアノテーション処理の一例について説明するフローチャート。
【図10】本発明におけるアノテーションのカード化処理の一例について説明するフローチャート。
【図11】本発明におけるカードリフレクター表示処理の一例について説明するフローチャート。
【図12】本発明におけるカードリフレクターの手書き描画アノテーション処理の一例について説明するフローチャート。
【図13】本発明におけるカードリフレクターのカード間リンクアノテーション処理の一例について説明するフローチャート。
【図14】本発明におけるカードリフレクターのカード配置処理の一例について説明するフローチャート。
【図15】本発明におけるカードリフレクターのテキストアノテーション処理の一例について説明するフローチャート。
【図16】本発明について説明するためのシステムブロック図。
【特許請求の範囲】
【請求項1】
ユーザの活動プロセスに関するデータを記録する記録装置と、
記録されたデータに対してアノテーションを自動付与するオートアノテーション装置と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示装置と、
提示されたタイムライン上のデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション装置と、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示装置と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション装置と
を備える、活動プロセスリフレクション支援システム。
【請求項2】
ユーザの活動プロセスに関するデータを記録し、記録されたデータに対してアノテーションを自動付与し、記録されたデータおよびアノテーションを時間軸に沿って提示し、提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインリフレクターと、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードリフレクターと
を備える、活動プロセスリフレクション支援システム。
【請求項3】
タイムラインリフレクターは、
ユーザの活動プロセスに関するデータを記録する記録部と、
記録されたデータに対してアノテーションを自動付与するオートアノテーション部と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示部と、
提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション部と
を備え、
カードリフレクターは、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示部と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション部と
を備える、請求項2記載の活動プロセスリフレクション支援システム。
【請求項4】
ユーザの活動プロセスに関するデータを入力する、請求項1ないし3のいずれかに記載
の活動プロセスリフレクション支援システム。
【請求項5】
ユーザの活動プロセスに関するデータから該データに対応するアノテーションを取得する、請求項1ないし4のいずれかに記載の活動プロセスリフレクション支援システム。
【請求項6】
アノテーションが少なくとも画像、音声、および位置のいずれかである、請求項5に記載の活動プロセスリフレクション支援システム。
【請求項7】
タイムライン上のデータに対応するユーザ任意のアノテーションを入力する、請求項1ないし6のいずれかに記載の活動プロセスリフレクション支援システム。
【請求項8】
ユーザ任意のアノテーションが少なくとも自動付与されるアノテーションとは異なるものである、請求項7に記載の活動プロセスリフレクション支援システム。
【請求項9】
仮想フィールド上の擬似カードに対応するユーザ任意のアノテーションを入力する、請求項1ないし8のいずれかに記載の活動プロセスリフレクション支援システム。
【請求項10】
ユーザ任意のアノテーションが少なくともカード間リンク、およびカードグルーピングである、請求項9に記載の活動プロセスリフレクション支援システム。
【請求項11】
ユーザの活動プロセスに関するデータを記録し、
記録したデータに対してアノテーションを自動付与し、
記録したデータおよびアノテーションを時間軸に沿って提示し、
提示したデータに対してユーザ任意のアノテーションを付与し、
記録したデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、
提示した仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与する、
活動プロセスリフレクション支援方法。
【請求項12】
請求項11記載の方法をコンピュータに実行させるプログラム。
【請求項13】
請求項12記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項1】
ユーザの活動プロセスに関するデータを記録する記録装置と、
記録されたデータに対してアノテーションを自動付与するオートアノテーション装置と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示装置と、
提示されたタイムライン上のデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション装置と、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示装置と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション装置と
を備える、活動プロセスリフレクション支援システム。
【請求項2】
ユーザの活動プロセスに関するデータを記録し、記録されたデータに対してアノテーションを自動付与し、記録されたデータおよびアノテーションを時間軸に沿って提示し、提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインリフレクターと、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードリフレクターと
を備える、活動プロセスリフレクション支援システム。
【請求項3】
タイムラインリフレクターは、
ユーザの活動プロセスに関するデータを記録する記録部と、
記録されたデータに対してアノテーションを自動付与するオートアノテーション部と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示部と、
提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション部と
を備え、
カードリフレクターは、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示部と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション部と
を備える、請求項2記載の活動プロセスリフレクション支援システム。
【請求項4】
ユーザの活動プロセスに関するデータを入力する、請求項1ないし3のいずれかに記載
の活動プロセスリフレクション支援システム。
【請求項5】
ユーザの活動プロセスに関するデータから該データに対応するアノテーションを取得する、請求項1ないし4のいずれかに記載の活動プロセスリフレクション支援システム。
【請求項6】
アノテーションが少なくとも画像、音声、および位置のいずれかである、請求項5に記載の活動プロセスリフレクション支援システム。
【請求項7】
タイムライン上のデータに対応するユーザ任意のアノテーションを入力する、請求項1ないし6のいずれかに記載の活動プロセスリフレクション支援システム。
【請求項8】
ユーザ任意のアノテーションが少なくとも自動付与されるアノテーションとは異なるものである、請求項7に記載の活動プロセスリフレクション支援システム。
【請求項9】
仮想フィールド上の擬似カードに対応するユーザ任意のアノテーションを入力する、請求項1ないし8のいずれかに記載の活動プロセスリフレクション支援システム。
【請求項10】
ユーザ任意のアノテーションが少なくともカード間リンク、およびカードグルーピングである、請求項9に記載の活動プロセスリフレクション支援システム。
【請求項11】
ユーザの活動プロセスに関するデータを記録し、
記録したデータに対してアノテーションを自動付与し、
記録したデータおよびアノテーションを時間軸に沿って提示し、
提示したデータに対してユーザ任意のアノテーションを付与し、
記録したデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、
提示した仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与する、
活動プロセスリフレクション支援方法。
【請求項12】
請求項11記載の方法をコンピュータに実行させるプログラム。
【請求項13】
請求項12記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【図7】
【図10】
【図12】
【図13】
【図14】
【図16】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図8】
【図9】
【図11】
【図15】
【図10】
【図12】
【図13】
【図14】
【図16】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図8】
【図9】
【図11】
【図15】
【公開番号】特開2009−229605(P2009−229605A)
【公開日】平成21年10月8日(2009.10.8)
【国際特許分類】
【出願番号】特願2008−72512(P2008−72512)
【出願日】平成20年3月19日(2008.3.19)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成19年度独立行政法人科学技術振興機構「直感的インタフェースと市民芸術創造SNS(ソーシャル・ネットワーキング・システム)の研究・開発」委託研究、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(301021533)独立行政法人産業技術総合研究所 (6,529)
【Fターム(参考)】
【公開日】平成21年10月8日(2009.10.8)
【国際特許分類】
【出願日】平成20年3月19日(2008.3.19)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成19年度独立行政法人科学技術振興機構「直感的インタフェースと市民芸術創造SNS(ソーシャル・ネットワーキング・システム)の研究・開発」委託研究、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(301021533)独立行政法人産業技術総合研究所 (6,529)
【Fターム(参考)】
[ Back to top ]