マルチメディア付箋装置
【構成】 マルチメディア付箋装置１０は、表示器１４を含み、その表示器に仮想空間を表示する。たとえば、この付箋装置１０を操作して貼付ジェスチャを実行したとき、記憶手段に記憶されている付箋データが、仮想空間に付箋として貼付けられる。具体的には、別の記憶手段に場所情報とともに記憶される。また、付箋装置１０を操作して剥しジェスチャを実行したとき、その別の記憶手段に記憶されている付箋データが消去される。付箋装置を実空間で移動して、その場所が別の記憶手段に記憶されている場所情報と一致したとき、表示器には付箋オブジェクト２６によって存在が表示され、場所情報が一致しない他の付箋データは付箋アイコンオブジェクトによって存在が表示される。付箋オブジェクトが表示されている状態で付箋データが再生できる。
【効果】付箋データを容易に貼り付けまたは剥がしもしくは再生することができる。
【効果】付箋データを容易に貼り付けまたは剥がしもしくは再生することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
マルチメディア付箋装置に関し、特に、音声、映像または画像もしくはテキストデータさらにはストロークデータなどのマルチメディアコンテンツを仮想空間内の任意の位置または方向に付箋のように貼付し、または貼付したマルチメディアコンテンツ（付箋）を剥離できる、新規なマルチメディア付箋装置に関する。
【背景技術】
【０００２】
本件発明者等は、非特許文献１において、たとえば顔の正面に対する相対的方向に関連付けて音声メモを保存し、顔がその相対的方向に向けられたとき、その音声メモを再生する音声メモ装置を提案した。
【非特許文献１】米澤朋子、山添大丈「頭部方向に応じた音声メモの配置とブラウジング」信学技報, vol. 108, no. 328, MVE2008-61, pp. 9-14, 2008年11月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記背景技術においては、音声メモの再生が直感的にブラウジング（再生）されるという優れた効果があるものの、音声メモを保存している方向の変更や音声メモ自体の消去または削除などの操作は、コンピュータ画面に設定したＧＵＩに拠るほかなく、別途ＧＵＩのような操作手段を設けるなど、システムや操作が煩雑になるという問題があった。
【０００４】
それゆえに、この発明の主たる目的は、新規な、マルチメディア付箋装置を提供することである。
【０００５】
この発明の他の目的は、音声、映像または画像もしくはテキストデータさらにはストロークデータなどのマルチメディアコンテンツを仮想空間内の任意の位置または方向に付箋のように貼付し、または貼付したマルチメディアコンテンツ（付箋）を剥離できる、新規なマルチメディア付箋装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【０００７】
第１の発明は、音声データ、映像または画像データ、テキストデータおよびストロークデータの少なくとも1つを含む付箋データを記憶しておく第１記憶手段、貼付ジェスチャが行なわれたことを検出する貼付ジェスチャ検出手段、貼付ジェスチャ検出手段によって貼付ジェスチャを検出したことに応じて、第１記憶手段から読み出した付箋データを、貼付ジェスチャが示す実空間での位置または方向を示す場所情報とともに記憶する第２記憶手段、および仮想空間を表示し、付箋データの存在を、第２記憶手段から読み出した場所情報が示す実空間での位置または方向に相当する仮想空間での位置または方向に表示する存在表示手段を備える、マルチメディア付箋装置である。
【０００８】
第１の発明では、第１記憶手段（36,443：実施例において相当する要素を例示する参照符号。以下同じ。）にユーザが入力した付箋データを記憶する。付箋データは、音声データ、映像または画像データ、テキストデータおよびストロークデータの少なくとも1つであってよい。音声データの場合、付箋データは、たとえばマイクのような音声入力手段から入力されて第１記憶手段に記憶される。映像または画像データの場合、付箋データは、たとえばカメラのような映像または画像入力手段から入力されて第１記憶手段に記憶される。ただし、この映像または画像は、動画像であっても、１または複数の静止画像の集合であってもよい。さらに、テキストデータの場合、付箋データは、たとえばキー入力手段から入力されて第１記憶手段に記憶される。キー入力手段は、付箋装置がタッチパネルを備える実施例においては、ソフトキーボードとして形成される。しかしながら、別のハードキーボードを接続してテキスト入力を実行することも可能である。ストロークデータの場合は、タッチパネルのようなポインティングデバイスが指示する順次の座標位置データが第１記憶手段に記憶される。
【０００９】
ユーザが貼付ジェスチャを入力すると、貼付ジェスチャ検出手段（32,424,S21）によって、貼付ジェスチャが行なわれたことを検出する。貼付ジェスチャが検出されると、第１記憶手段から読み出した付箋データが第２記憶手段（38)に記憶される。このとき、付箋データは第２記憶手段に、貼付ジェスチャが示す実空間での位置または方向を示す場所情報と紐付けして記憶される。実施例の場合は、場所情報は方位データである。存在表示手段は、第２記憶手段から読み出した場所情報が示す実空間での位置または方向に相当する仮想空間での位置または方向に付箋データの存在を表示する。したがって、ユーザはその存在表示によって、その位置または方向に付箋データが貼り付けられていることが視認できる。存在表示は、実施例では、付箋オブジェクトや付箋アイコンオブジェクトオブジェクトである。付箋オブジェクトは、たとえばマルチメディア付箋装置自体の位置または方向が、上述の第２記憶手段に記憶した場所情報が示す位置または方向と一致しているとき、つまり、その付箋データを再生することができる状態であることを示し、付箋アイコンオブジェクトオブジェクトは、それが表示されている位置または方向に付箋データが貼付けられている（記憶または登録されている）ことを示す。
【００１０】
第１の発明では、貼付ジェスチャを検出したとき、その貼付ジェスチャが示す位置または方向に付箋データを貼り付けることができるので、容易に付箋データを貼り付けるとこができる。
【００１１】
第２の発明は、第１の発明に従属し、貼付ジェスチャを入力するための貼付ジェスチャ入力手段をさらに備え、貼付ジェスチャ検出手段は貼付ジェスチャ入力手段からの入力に基づいて貼付ジェスチャが行なわれたことを検出する、マルチメディア付箋装置である。
【００１２】
第２の発明では、貼付ジェスチャ入力手段は、一例として、地磁気センサおよび加速度センサの組み合わせとして構成され得る。そして、ユーザが地磁気センサおよび加速度センサを操作することによって、貼付ジェスチャを入力したとき、貼付ジェスチャ検出手段がその貼付ジェスチャを検出する。第２の発明によれば、ユーザが貼付ジェスチャ入力手段によって入力した貼付ジェスチャに応答して付箋データを貼り付けることができる。したがって、一旦第１記憶手段に記憶した付箋データを任意のタイミングで貼り付けることができる。
【００１３】
第３の発明は、第２の発明に従属し、貼付ジェスチャ入力手段は、実空間での位置または方向を指示する貼付位置または方向指示手段および貼付動作を指示するための貼付動作指示手段を含み、貼付ジェスチャ検出手段は、貼付位置または方向指示手段が指示する位置または方向を検出する手段および貼付動作指示手段が指示する貼付動作指示を検出する貼付動作指示検出手段を含む、マルチメディア付箋装置である。
【００１４】
第３の発明において、実施例では、位置または方向指示段として３軸地磁気センサ（28）を用い、貼付動作指示手段として３軸加速度センサ（30）を利用する。位置または方向を検出する手段（32,424,S21）は、実施例では、３軸地磁気センサが示す地磁気量に従って電子コンパス機能を実行して、それが示す貼付位置または方向（実施例では方位）を特定する。そして、３軸加速度センサが示す加速度の大きさの変化に基づいて、たとえば、貼付動作検出手段（32,424,S21）が貼付動作指示の有無を検出する。貼付動作指示検出手段が貼付動作を検出したとき、第２記憶手段（38）に、付箋データとともに、位置または方向を検出する手段（32,424,S21）が検出した位置または方向のデータが記憶される。第３の発明によれば、貼付動作のときに位置または方向を指示する手段と貼付動作指示手段とを別の手段で構成するとともに、位置または方向を検出する手段と貼付動作検出手段とを別の手段で構成したので、貼付ジェスチャの入力およびそれの検出が容易に行なえる。
【００１５】
第４の発明は、第１ないし第３のいずれかの発明に従属し、剥しジェスチャが行なわれたことを検出する剥しジェスチャ検出手段、および剥しジェスチャ検出手段によって剥しジェスチャを検出したことに応答して、第２記憶手段に記憶している該当の付箋データを消去する付箋データ消去手段をさらに備える、マルチメディア付箋装置である。
【００１６】
第４の発明では、剥しジェスチャ入力手段は、一例として、地磁気センサおよび加速度センサの組み合わせとして構成され得る。そして、ユーザが地磁気センサおよび加速度センサを操作して剥しジェスチャを入力したとき、剥しジェスチャ検出手段がその剥しジェスチャを検出する。そして、付箋データ消去手段（32,423,S49）が、剥しジェスチャの検出に応答して、付箋を剥す。つまり、第２記憶手段から付箋データを消去する。第４の発明によれば、貼付ジェスチャに応答して張り付けた付箋を、ＧＵＩのような操作手段を用いなくても、任意に剥すことができる。
【００１７】
第５の発明は、第４の発明に従属し、剥しジェスチャを入力するための剥しジェスチャ入力手段をさらに備え、剥しジェスチャ検出手段は剥しジェスチャ入力手段からの入力に基づいて剥しジェスチャが行なわれたことを検出する、マルチメディア付箋装置である。
【００１８】
第５の発明では、剥しジェスチャ入力手段は、一例として、地磁気センサおよび加速度センサの組み合わせとして構成され得る。そして、ユーザが地磁気センサおよび加速度センサを操作して剥しジェスチャを入力したとき、剥しジェスチャ検出手段がその剥しジェスチャを検出する。第５の発明によれば、ユーザが剥しジェスチャ入力手段によって入力した剥しジェスチャに応答して付箋データを消去して付箋を剥すことができる。第２記憶手段に記憶した付箋データを任意のタイミングで消去できる。
【００１９】
第６の発明は、第５の発明に従属し、剥しジェスチャ入力手段は、実空間での位置または方向を指示する剥し位置または方向指示手段および剥し動作を指示するための剥し動作指示手段を含み、剥しジェスチャ検出手段は、剥し位置または方向指示手段が指示する位置または方向を検出する手段および剥し動作指示手段が指示する剥し動作指示を検出する剥し動作指示検出手段を含み、付箋データ消去手段は、剥し位置または方向指示手段が指示する位置または方向に対応する付箋データを消去する、マルチメディア付箋装置である。
【００２０】
第６の発明において、実施例では、位置または方向指示手段として３軸地磁気センサ（28）を用い、剥し動作指示手段として３軸加速度センサ（30）を利用する。位置または方向を検出する手段（32,424,S41）は、実施例では、３軸地磁気センサが示す地磁気量に従って電子コンパス機能を実行して、それが示す剥し位置または方向（実施例では方位）を特定する。そして、３軸加速度センサが示す加速度の大きさの変化に基づいて、たとえば、剥し動作検出手段（32,424,S41）が剥し動作指示の有無を検出する。剥し動作指示検出手段が剥し動作を検出したとき、位置または方向を検出する手段（32,424,S41）が検出した位置または方向のデータが第２記憶手段に記憶している付箋データとともに記憶されている位置または方向データに対して所定関係を充足すれば、つまり、位置または方向を検出する手段が検出した位置または方向に付箋データが貼り付けられているとき、その付箋データを第２記憶手段から削除する。第６の発明によれば、剥し動作指示手段とその剥し動作を指示するときの位置または方向の指示手段とを別の手段で構成するとともに、位置または方向を検出する手段と剥し動作検出手段とを別の手段で構成したので、剥しジェスチャの入力およびそれの検出が容易に行なえる。
【００２１】
第７の発明は、第１ないし第６のいずれかの発明に従属し、実空間における位置または方向を表す場所情報を入力する場所情報入力手段、場所情報入力手段が入力した場所情報が示す位置または方向が、第２記憶手段に付箋データとともに記憶されている場所情報と所定関係にあるとき、付箋データを再生する再生手段をさらに備える、マルチメディア付箋装置である。
【００２２】
第７の発明においては、場所情報入力手段は、実施例においては、３軸地磁気センサ（28）およびＣＰＵ（32）で構成し、それによって入力した場所情報が示す位置または方向が第２記憶手段第２記憶している場所情報が示す位置または方向と所定関係（たとえば、一致している）にあるとき、第２記憶手段から該当の付箋データを読み出して、音声、映像または画像、あるいはテキスト、ストロークデータが示す線画や文字を出力する。音声はスピーカなどの音声出力手段によって、映像または画像もしくはテキストあるいは線画や文字は表示手段によって出力する。第７の発明によれば、付箋データを任意のタイミングで再生することができる。
【発明の効果】
【００２３】
この発明によれば、音声データ、映像または画像データ、テキストデータもしくはストロークデータなどのマルチメディアコンテンツを仮想空間内の任意の方向または位置に貼付し、または剥離できる、マルチメディア付箋装置が得られる。
【００２４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２５】
【図１】図1はこの発明の実施例のマルチメディア付箋装置の利用形態の一例を示す図解図である。
【図２】図２は実施例のマルチメディア付箋装置を示す外観図である。
【図３】図３は実施例のマルチメディア付箋装置の使用方法を概説するための図解図である。
【図４】図４は実施例のマルチメディア付箋装置の構成を示すブロック図である。
【図５】図５は実施例のマルチメディア付箋装置のＲＡＭのメモリマップの一例を示す図解図である。
【図６】図６は実施例において付箋データを生成する動作の一例を示すフロー図である。
【図７】図7は実施例において付箋データを貼り付ける動作の一例を示すフロー図である。
【図８】図８は実施例において実行される貼付ジェスチャの一例を示す図解図である。
【図９】図９は実施例において実行される剥しジェスチャの一例を示す図解図である。
【図１０】図１０は実施例において貼付ジェスチャおよび剥しジェスチャを加速度信号（データ）から検出する方法を示すグラフである。
【図１１】図１１は実施例においてフラッシュメモリに付箋データを蓄積した状態を示す図解図である。
【図１２】図１２は実施例において付箋データを剥がす動作の一例を示すフロー図である。
【図１３】図１３は実施例において付箋データを剥がす動作の一例を示すフロー図である。
【図１４】図１４は別の実施例で用いるヘッドセットを示す図解図である。
【図１５】図１５は背景画像を表示する別の実施例のマルチメディア付箋装置を示す図解図である。
【図１６】図１６は図１５実施例において付箋（および付箋アイコンオブジェクト）と背景画像とがずれたことを示す図解図である。
【図１７】図１７はこのようなずれを校正するための方法を概説するための図解図である。
【発明を実施するための最良の形態】
【００２６】
図１に示すように、この実施例のマルチメディア付箋装置（以下、単に「付箋装置」という。）１０は、ユーザ１の手に持って使用される。この実施例においては、付箋装置１０は手持ち可能な携帯情報端末であり、一例として、アップル社製の携帯電話機ｉｐｈｏｎｅ３Ｇ（商品名）を用いる。ただし、この具体的な商品名の携帯端末だけでなく、同等の機能を有する携帯電話機、さらにはＰＤＡなど任意の携帯情報端末が利用可能である。
【００２７】
たとえば、付箋装置１０をユーザ１が実空間内で操作することによって、その実空間内の位置や方向に対応する仮想空間の位置や方向に、音声データ、映像または画像データ、もしくはテキストデータさらにはストロークデータなどのマルチメディアコンテンツを付箋（必要事項を書いて貼り付け、不要になればはがせる、たとえば「ポストイット」（商品名）のようなもの）として配置したり、一旦配置した付箋を削除したり、または配置している付箋を構成するコンテンツを再生するものである。
【００２８】
図２には、携帯電話機ｉｐｈｏｎｅ３Ｇ（商品名）である実施例の場合の付箋装置１０が、図解される。付箋装置１０はほぼ矩形の扁平なハウジング１２を含み、ハウジング１２の前面には、たとえばＬＣＤ（液晶表示器）のような表示器１４が設けられ、表示器１４の上にはタッチパネル１６が配置される。タッチパネル１６は、抵抗膜式または静電容量式のいずれでもよく、あるいはもし存在するなら別の方式のタッチパネルであってよい。
【００２９】
表示器１４の右側のハウジング前面には、「ホームボタン」と呼ばれる押しボタンスイッチ１８が設けられ、このスイッチ１８は、メニューを選択したり、カメラのシャッタとして用いられたり、様々に利用されるハードスイッチである。このスイッチ１８の上の右側面には、図２において点線で示すマイク２０が設けられる。マイク２０は音声入力手段またはその一部を構成する。
【００３０】
表示器１４の左側のハウジングの後面には、図２において点線で示すカメラ２２が設けられる。このカメラ２２は、映像または画像の入力手段またはそれの一部を構成する。カメラ２２の下方のハウジング１２の前面には、音声出力手段の一例であるスピーカ２４が配置される。
【００３１】
表示器１４には仮想空間が表示され、その仮想空間内には、付箋データ（音声データ、映像または画像データ、テキストデータ、ストロークデータなど）の存在を示す付箋オブジェクト２６や付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…が表示される。これらの付箋オブジェクト２６や付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…によって、ユーザ1は、その位置および／または方向に付箋データが配置されていることを視覚的に知ることができる。ただし、付箋オブジェクト２６と付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…の違いは、付箋オブジェクト２６は付箋装置１０のそのときの位置または方向が、その付箋オブジェクト２６の付箋データを貼り付けるための貼付ジェスチャをした実空間内での位置または方向に一致したかまたはほぼ一致したことを示すのに対し、付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…は付箋オブジェクト２６の位置または方向とは異なる位置または方向に付箋データが貼り付けられていることを示す。
【００３２】
ここで、付箋装置１０のそのときの位置または方向を示す場所情報が、その付箋オブジェクト２６の付箋データを貼り付けるための貼付ジェスチャをした実空間内での位置または方向を示す場所情報に一致したかまたはほぼ一致したことを検出するためには、２つの付箋データの位置または方向が完全に一致するかを判断してもよく、あるいは２つの付箋データの位置または方向がおよそ一致するかを判断してもよい。前者の場合、実施例においては電子コンパスで検出した方位データが一致するかどうか判断すればよいし、後者の場合、方位データが所定範囲（たとえば、５°）内で重なるかどうか判断することができる。
【００３３】
詳しくいうと、実施例の付箋装置１０を利用するとき、ユーザ１はこの付箋装置１０にマルチメディアコンテンツデータ（付箋データ）を入力し、付箋装置１０を手に持って、図３に示すように、実空間内のユーザ１を囲む周囲ＡＲの適宜の位置および／または方向において貼付ジェスチャ（後述）を実行することによって、その位置および／または方向にその付箋データを配置（貼付）する。そして、このようにして貼り付けた付箋を再生するときには、その付箋データの存在を示す付箋アイコンオブジェクト２６ａが図２において付箋オブジェクト２６で示す位置および／または方向になるように、付箋装置１０をその周囲ＡＲにおいて動かす。実施例では、付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…は付箋より薄い色で表示され、付箋として認識される位置および／または方向に付箋装置１０がもたらされたとき、より濃い色の付箋オブジェクト２６として認識できるように表示色が変更される。
【００３４】
そして、付箋装置１０を周囲ＡＲの所定の位置または方向にもたらしたとき、すなわち付箋オブジェクト２６が認識できた状態において、その付箋オブジェクト２６を形成する付箋データ（マルチメディアコンテンツ）が実施例では自動的に再生される。たとえば、付箋データが音声データであれば、スピーカ２４から、または図示しないヘッドフォンから音声が出力される。付箋データが映像または画像データであれば、表示器１４（図２）にその映像または画像が表示される。同様に、付箋データがテキストデータであるときには、そのテキストデータで示されるテキストが表示器１４に表示される。付箋データがストロークデータであるときには、そのストロークデータで示される線画や文字が表示器１４に表示される。なお、ストロークデータとは、タッチパネル１６に直接描いた線画や文字を表すタッチパネル上の順次の座標のデータである。このストロークデータによって手書きメモを付箋として記憶し再生することができる。
【００３５】
なお、映像または画像は、動画像であってもよく、１枚または複数枚の静止画像の組であってもよい。たとえば、黒板や白板あるいは紙などに手書きしたメモを付箋装置１０のカメラ２２で撮影することによって、手書きメモの静止画像を付箋データとして生成することもできる。つまり、映像または画像によっても手書きメモを付箋として残して、それを再生することができる。
【００３６】
図４を参照して、付箋装置１０は、上で説明した表示器１４、タッチパネル１６、スイッチ１８、マイク２０、カメラ２２およびスピーカ２４の他、図４に示すように、３軸地磁気センサ２８、３軸加速度センサ３０、ＣＰＵ３２、ＲＯＭ３４、ＲＡＭ３６、フラッシュメモリ３８および時計回路４０を含む。
【００３７】
表示器１４にキーボード画像を表示し、そのキーボード画像に示すキー位置でのユーザのタッチをタッチパネル１６で検出することによって、キー入力ができる。いわゆるソフトキーボードである。実施例の付箋装置１０のＣＰＵ（コンピュータ）３２は、このようなソフトキーボードを用いて、テキストデータを入力したり、付箋モードを選択または指定したり、付箋データの種類を決定したり、適宜の必要な操作をコンピュータ（ＣＰＵ）３２に指示することができる。
【００３８】
また、スイッチ１８の操作がＣＰＵ３２によって検出でき、ＣＰＵ３２はスイッチ１８の操作を検出したとき、そのときのモードやタイミングに応じて予め設定されている機能を達成する。たとえば、カメラモードが設定されているときスイッチ１８が操作されると、それをいわゆるシャッタ操作とみなして、ＣＰＵ３２はそのタイミングでカメラ２２からの画像をＲＡＭ３６のデータ領域に取り込む。音声や動画像を入力する際には、ＣＰＵ３２は、スイッチ１８の最初の操作を開始指示、次の操作を終了指示としてその間の音声データや映像データを取り込むようにしてもよい。
【００３９】
ただし、音声入力の場合、スイッチ１８の操作によって開始、終了を指示するのではなく、音声入力の有無を判断して自動的に取り込むこともできる。ＣＰＵ３２は、たとえば、マイク２０から入力される音声信号から音声の信号（有音）である区間（音声区間）の切り出しを試み、音声区間が切り出せた場合に音声の入力があると判断する。そして、音声区間の切り出しでは、音声信号のレベルが閾値を上回る時間がたとえば０．３秒を超えた位置を発話開始（音声区間開始）とみなし、その後音声信号のレベルが閾値を下回る時間がたとえば１．０秒を超えたときに閾値を下回り始めた位置を発話停止（音声区間終了）とみなすことにより音声区間を決定する。
【００４０】
３軸地磁気センサ２８は、直交３軸方向の地磁気の強さを検知するもので、この実施例では、ＣＰＵ３２とともに電子コンパスまたはディジタルコンパスを構成するために利用される。電子コンパスは、よく知られているように、２つの地磁気センサを直角に組み合わせて、前後方向と左右方向の地磁気を検出し、その強さからどちらが北の方向なのかを計算する。ただし、実施例のような３軸タイプでは、前後方向と左右方向の２つの地磁気センサに加えて上下方向の地磁気を検出する第３の地磁気センサを持っているため、たとえば、付箋装置１０を傾けて持っても、１つの地磁気センサで何度傾けて持っているかがわかるので、その傾き分を差し引いて水平方向の地磁気を計算することによって、正しい方位を検出できる。したがって、もし付箋装置１０を図２に示すように常に垂直に立てて使用するものと決めれば、傾きを検出する必要がないので、２軸の地磁気センサで十分である。
【００４１】
この３軸または２軸地磁気センサ２８は、後に説明するように、ユーザが貼付ジェスチャおよび剥しジェスチャなどを入力するために利用される。貼付ジェスチャおよび剥しジェスチャでは、位置または方向の指示と、貼付けおよび剥し動作の指示とを入力する必要があり、この地磁気センサ２８は位置または方向指示手段として機能する。
【００４２】
３軸加速度センサ３０は、この実施例では、後に説明するように、ユーザが貼付ジェスチャおよび／または剥しジェスチャなどを入力するために利用される。ただし、上記のジェスチャを決まった方向でのみ行なうものと決めれば、加速度センサも２軸のものでよい。上述のように貼付ジェスチャおよび剥しジェスチャでは、位置または方向の指示と、貼付けおよび剥し動作の指示とを入力する必要があり、この加速度センサ３０は貼付けおよび剥し動作指示手段として機能する。
【００４３】
先に説明したように、付箋装置１０はスピーカ２４を備えるが、このスピーカ２４に代えて、またはスピーカ２４と併用するために、ヘッドフォン（図示せず）を設けてもよい。ステレオヘッドフォンを用いれば、音源定位可能に音声メモ（音声付箋）を再生することができる。
【００４４】
付箋装置１０に含まれるＲＡＭ３６には図５に示すように、プログラム領域４２およびデータ領域４４が設けられる。プログラム領域４２にはＲＯＭ３４に予め設定されている種々のプログラムが使用に際して展開される。たとえばＯＳ領域４２１にはＯＳ（Operating System）が記憶される。付箋データ生成プログラム領域４２２には、上で説明した付箋データ、たとえば音声データ、映像または画像データ、テキストデータ、ストロークデータなどを生成して保存するためのプログラムが設定される。音声付箋データを取得する場合、ＣＰＵ３２は、この領域４２２に設定されている音声付箋データ生成プログラムに従って、マイク２０からの音声入力を取り込む。映像または画像付箋データを取得する場合、ＣＰＵ３２は、この領域４２２に設定されている映像または画像付箋生成プログラムに従って、カメラ２２からの映像または画像入力を取り込む。テキスト付箋データを取得する場合、ＣＰＵ３２は、この領域４２２に設定されているテキスト付箋生成プログラムに従って、前述のソフトキーボードを設定するとともに、タッチパネル１６からのタッチ信号に応じて、操作キーを特定してキー入力を得る。ストロークデータを取得する場合、ＣＰＵ３２は領域４２２に設定されているストロークデータ付箋生成プログラムに従って、タッチパネル１６（または別のポインティングデバイス）が示す順次の座標位置データを入力する。
【００４５】
付箋操作プログラム領域４２３には、付箋を貼り付けたり、剥がしたり、さらには付箋データを再生したりするための付箋操作プログラムが設定される。付箋操作プログラムによって付箋データを再生するとき、音声はスピーカ２４やヘッドフォン（図示せず）から出力され、映像または画像は表示器１４に出力され、テキストやストロークデータが示す線画や文字も同様に表示器１４に出力される。
【００４６】
付属プログラム領域４２４には、ＣＰＵ３２によって電子コンパスを機能させたり、貼付ジェスチャや剥しジェスチャ、さらには正面校正ジェスチャなどを検出したりするための付属プログラムが設定される。
【００４７】
ＲＡＭ３６のデータ記憶領域４４には、表示オブジェクト画像データ記憶領域４４１、センサデータ記憶領域４４２、付箋データバッファ４４３などが形成される。
【００４８】
表示オブジェクト画像データ記憶領域４４１には、図２に示すような付箋オブジェクト２６や付箋アイコンオブジェクト２６ａ、ソフトキーボードのためのキーボード画像、その他の画像を表示するためのオブジェクト画像データが予め設定される。
【００４９】
センサデータ記憶領域４４２には、３軸（または２軸）地磁気センサ２８や３軸（または２軸）加速度センサ３０で検知した地磁気の大きさを示す地磁気データや加速度の大きさを示す加速度データが記憶される。ＣＰＵ３２は、前述の付属プログラムに従って、この地磁気データを利用して電子コンパスを機能させ、あるいは加速度データを利用して貼付ジェスチャや剥しジェスチャなどのジェスチャが行なわれたかどうかを判断する。
【００５０】
付箋データバッファ４４３は、付箋データとして入力された音声データ、映像または画像データ、テキストデータ、ストロークデータなどを一時的に蓄積するための領域であり、第１記憶手段として機能する。貼付ジェスチャに応じて、このバッファ４４３から、第２記憶手段として機能するフラッシュメモリ３８に付箋データが転送されて記憶される。また、剥しジェスチャに応じて、フラッシュメモリ３８に登録してあった付箋データがこのバッファ４４３に転送されて記憶される。
【００５１】
ただし、フラッシュメモリ３８は不揮発メモリの一例であり、第２記憶手段としては、他の任意の形式の不揮発メモリをフラッシュメモリ３８に代えて、あるいはフラッシュメモリ３８とともに利用することができる。
【００５２】
図６を参照して、付箋装置１０のＣＰＵ（コンピュータ）３２は、図５のプログラム領域４２の付箋データ生成プログラム４２１に従って、ステップＳ１で、上で説明したようなスイッチ１８の操作を検出したり、あるいは音声区間の切り出しを実行したりして、マイク２０から音声信号入力があるかどうか判断する。音声信号入力があるときには、ＣＰＵ３２は、ステップＳ１で“ＹＥＳ”を判断し、入力された音声信号を音声データに変換して、続くステップＳ３において、図５に示す付箋データバッファ４４３に保存する。ストロークデータの場合は、ストロークデータ入力モードにおいて、ポインティングデバイス、実施例ではタッチパネル１６が示す順次の座標位置データをバッファ４４３に書き込む。
【００５３】
ＣＰＵ３２は、ステップＳ１で“ＮＯ”を判断したときには、ステップＳ５において、スイッチ１８の操作を検出するなどして、カメラ２２から映像信号または画像信号が入力されたかどうか判断する。映像信号または画像信号が入力されたたとき、ＣＰＵ３２は、その映像信号または画像信号を映像または画像データに変換して、ステップＳ７において映像または画像データを付箋データバッファ４４３に保存する。
【００５４】
ステップＳ５で“ＮＯ”を判断したときには、ステップＳ９において、ＣＰＵ３２は、テキストデータが入力されたかどうか判断する。テキストデータの入力があると、ＣＰＵ３２はステップＳ９で“ＹＥＳ”を判断し、ステップＳ１１においてテキストデータを付箋データバッファ４４３に保存する。なお、このテキストデータ入力に際しては、ＣＰＵ３２は、テキスト入力をするときのユーザの操作に従って、オブジェクト画像データ記憶領域４４１からキーボード画像データを読み出して、表示器１４にキーボード画像を表示すると共に、タッチパネル１６からのタッチ入力を検出するとこによって、そのキーボード上のどのキーが操作（タッチ）されたか判断し、テキストデータをバッファ４４３に書き込む。したがって、ステップＳ９でテキスト入力かどうか判断するためには、そのようなユーザからの指示があったかどうか判断すればよい。
【００５５】
また、音声と映像または画像、あるいは映像または画像とテキスト、音声とテキストなどのように、任意の組み合わせの２以上のデータを１つの付箋データとしてバッファ４４３に保存することも可能である。たとえば、ナレーション付の写真を、音声データと映像または画像データを含む１つの付箋として処理することができる。つまり、付箋データは単一メディアのデータだけでなく、ミックスメディアのデータであってよい。
【００５６】
このようにして、付箋データ生成プログラムに従って付箋データが生成され、付箋データバッファ４４３（図５）に保存される。
【００５７】
そして、図７のステップＳ２１においてＣＰＵ３２が貼付ジェスチャが行なわれたと判断したとき、そのとき付箋データバッファ４４３に保存されている付箋データを仮想空間内に貼り付ける。具体的には、フラッシュメモリ３８に記憶する。
【００５８】
この実施例では、貼付ジェスチャおよび剥しジェスチャを共に、付箋装置１０自体の動きで実行できるようにしている。具体的には、貼付ジェスチャを図８に、剥しジェスチャを図９にそれぞれ示す。
【００５９】
図８に示す貼付ジェスチャでは、ユーザは右手で付箋装置１０の右端を、表示器１４が手前側（自分側）になるように持って、その状態で付箋装置１０の左側が矢印Ａのように自分から遠ざかるように、付箋装置１０を振る。一方、図９に示す剥しジェスチャでは、ユーザは右手で付箋装置１０の右端を図８と同じように持って、その状態で付箋装置１０の左側が矢印Ｂのように自分に近づくように、付箋装置１０を振る。この貼付ジェスチャおよび剥しジェスチャは、図１０に示す３軸加速度センサ３０（図４）からの出力信号を監視することによって検出することができる。
【００６０】
図１０（Ａ）は３軸加速度センサ３０の各軸出力信号を示し、一点鎖線がＸ軸加速度を、点線がＹ軸加速度を、実線がＺ軸加速度をそれぞれ示す。このような加速度センサの各軸出力信号が、Ａ／Ｄ変換されたセンサデータとして、センサデータ領域４４２（図５）に取り込まれる。ＣＰＵ３２は、その後、付属プログラム４２４に従って、このセンサデータをハイパスフィルタ処理して、画面に垂直なＺ軸の加速度データだけに基づいて、最大値および最小値がどのような順番で検出できたかを判別する。図８または図９のようなスナップ動作をするとき、Ｘ軸およびＹ軸のそれぞれの加速度はＺ軸のそれより小さいので、付属プログラムは、ＣＰＵ３２は、ハイパスフィルタ処理後のＺ軸加速度データだけでどちらのスナップ動作が行なわれたかを判定するようにしている。
【００６１】
図１０（Ｂ）の点Ｐ１におけるように、Ｚ軸加速度の最大値が最小値より先に入力されたということは、付箋装置１０の表示器１４の手前側、つまり自分側への力が加わったことを意味する。よって、ユーザが付箋装置１０に対して図８のようなスナップ運動をさせた場合には、ＣＰＵ３２は、貼付ジェスチャが行なわれたと判断する。これに対して、図１０（Ｂ）の点Ｐ２におけるように、Ｚ軸加速度の最小値が最大値より先に入力されたことを検出した場合、この場合には、付箋装置１０の裏面側への力が加わったことを意味する。したがって、ユーザが付箋装置１０に対して図９のようなスナップ運動をさせた場合には、ＣＰＵ３２は、剥しジェスチャが行なわれたと判断する。
【００６２】
ただし、このようにして貼付ジェスチャか剥しジェスチャを一旦検出した後は、ＣＰＵ３２は一定時間（たとえば、２秒程度）はジェスチャを検出しないように、付属プログラムが設定されている。その理由は、予期していない連続入力の検出を防止するとともに、あたかも団扇を使うようにパタパタするだけの動作は貼付ジェスチャや剥しジェスチャとしては検出しないようにするためである。
【００６３】
さらに、貼付ジェスチャや剥しジェスチャは、付箋装置１０のこのようなスナップ動作だけでなく、付箋装置１０に別の動きを生じさせることによって入力することもできるし、付属装置１０自体の運動（動き）ではなく、たとえばユーザの頭部の動きで入力することもできるし、さらには、音声によって貼付ジェスチャまたは剥しジェスチャを入力することもできる。この発明における貼付ジェスチャや剥しジェスチャなどのジェスチャは実施例で説明した具体例に限るものではなく、任意のジェスチャを貼付ジェスチャおよび剥しジェスチャとして利用可能である。
【００６４】
上述のようにして貼付ジェスチャを検出すると、付箋操作プログラム４２３に従って、ＣＰＵ３２は図７のステップＳ２１において“ＹＥＳ”と判断し、次のステップＳ２３で、ＣＰＵ３２は、そのとき付箋データバッファ４４３（図５）に保存されている付箋データを、仮想空間内に貼り付ける。具体的には、ＣＰＵ３２は、付箋データをバッファ４４３からフラッシュメモリ３８へ転送して、図１１に示すように記憶させる。
【００６５】
図１１では、フラッシュメモリ３８の１つの記憶場所に、付箋データの種類（音声、映像または画像、テキストなど）を示す種類データ４６、付箋データ４８および方位データ５０が一緒に記憶される。
【００６６】
種類データは、付箋データが音声データなのか、映像（画像）データなのか、テキストデータなのかを表す数値（コード）である。たとえば、次の表１の通り。ただし、ストロークデータについては省略した。
【００６７】
【表１】
【００６８】
このようなメディア種類の違いに応じて、図２に示す付箋オブジェクト２６や付箋アイコンオブジェクトの２６の形状や模様（テクスチャ）を変更するようにしてもよい。その場合には、表示用オブジェクト画像データとして各メディア種類に固有の形状や模様（テクスチャ）のオブジェクト画像を準備しておく必要がある。そして、ＣＰＵ３２は図２のように付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを表示する際、付箋データの種類に応じた形状や模様（テクスチャ）の付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを選択的に表示する。
【００６９】
付箋データ４８は、図６で示す付箋データ生成プログラムに従って生成したデータである。そして、方位データ５０は、貼付ジェスチャが実行された「方位」を示すデータである。
【００７０】
先に説明したように、この実施例の付箋装置１０は付属プログラムに従って電子コンパスの機能を実行することができる。付箋データ４８とともに記憶される方位データ５０は、この電子コンパスで検出した方位であり、「北」を０°としたときの、実空間で貼付ジェスチャが行なわれたときの付箋装置１０の方位を示すデータである。仮に、図３の「１０」の位置で貼付ジェスチャを行なったものとし、そのときの方位が「北東」であるとすると、方位データ５０としては、４５°が書き込まれる。
【００７１】
付箋データ４８と共に実空間の方位データ５０を紐付けて記憶させるのは、実空間の方位に相当する仮想空間内の位置または方向に、図２のような付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを表示する必要があるからである。ただし、図２では便宜上、ユーザ１の前面１８０°の範囲が貼付け可能範囲として設定しているが、この範囲は当然３６０°（厳密には３５９°）まで拡大することができる。
【００７２】
なお、ステップＳ２１で貼付ジェスチャを検知するとステップＳ２３で貼付け動作（フラッシュメモリ３８への転送記憶）を行なうようにしたが、もし、今回の付箋データの貼り付けるべき位置または方向（実施例では、電子コンパスが検知した方位）が先に貼り付けた付箋データの位置または方向（方位）が同じであれば、図２に示す付箋オブジェクト２６または付箋アイコンオブジェクトオブジェクト２６ａの表示位置が重なってしまうので、そのための対応（処理）をしなければならないかもしれない。
【００７３】
たとえば、ステップＳ２３の前で、ＣＰＵ３２によって、既に貼り付けている付箋データと今回貼り付けるべき付箋データとがそれらの位置または方向で重なるかどうか判断する。「重なる」かどうかの判断においては、２つの付箋データの位置または方向が完全に一致するかを判断してもよく、あるいは２つの付箋データの位置または方向がおよそ一致するかを判断してもよい。前者の場合、実施例においては電子コンパスで検出した方位データが一致するかどうか判断すればよいし、後者の場合、方位データが所定範囲（たとえば、５°）内で重なるかどうか判断することができる。
【００７４】
そして、位置または方向が重なった場合、今回の付箋データの貼付けを拒否して、ユーザにその旨を知らせるメッセージ（たとえば「既に貼り付けている付箋の方位と同じなので貼付けできません。」）を表示器１４で表示し、他方その拒否した付箋データを付箋データバッファ４４３（図５）から削除する方法が考えられる。しかしながら、他の処理方法が採用されてもよい。
【００７５】
たとえば「既に貼り付けている付箋の方位と同じなので貼付けできません。貼付方位を変更してください。」というメッセージを表示して、異なる方位でユーザが再度貼付ジェスチャを実行するように促す方法も可能である。ただし、この場合にはメッセージを表示した段階では自動的に付箋データをバッファから消去するのではなく、再度の貼付ジェスチャを促したにも拘らず所定時間内に貼付ジェスチャが検知されなかったときにだけ付箋データをバッファから消去すればよい。
【００７６】
今回の付箋データの貼付け位置または方向が既に貼り付けている付箋データの位置または方向と初めから重なっていないとき、あるいは再度貼付ジェスチャをユーザに行なわせた結果２つの付箋データの貼付け位置または方向が重ならなくなったとき、ステップＳ２３を実行するようにすればよい。
【００７７】
このようにして仮想空間に貼り付けた付箋データを再生するとき、付箋操作プログラム４２２（図５）に基づいて、図１２に示すフロー図に従って動作する。ユーザが、図示しない適宜の操作部を操作して付箋データ再生モードを設定したとき、最初のステップＳ３１で、ＣＰＵ３２は、フラッシュメモリ３８の記憶内容を参照して、図２に示すように、付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを表示器１４によって、仮想空間内の該当する場所に表示する。上で述べたように、フラッシュメモリ３８には付箋データの実空間内の貼付場所が方位データで示されているので、ＣＰＵ３２は、付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを表示する際、実空間の方位データで示す方位を表示器１４上の位置すなわち仮想空間内の方位に変換する必要がある。
【００７８】
たとえば、表示器１４におい、その全幅を使って図２に示すような１８０°の仮想空間が表示できるように設定したとすると、このとき表示器１４には、幅方向のちょうど中央が実空間での「北」となり、そこから左右それぞれ９０°の範囲、つまり北を通る実空間での「東」から「西」までを、仮想空間として表示可能である。したがって、たとえば、図１１の方位データ５０として「４５°」が記憶されているとすると、付箋データは「北東」の場所に配置されていなければならない。つまり、付箋装置１０の裏面を実空間の「北」に向けた状態で、表示器１４の左端を「西」とし右端を「東」とした場合の「北東」の位置、たとえば表示器１４の幅が８ｃｍだとすると、右端から４ｃｍの場所がその付箋オブジェクトの表示されるべき場所である。
【００７９】
ただし、表示器１４の全幅を３６０°に設定した場合は、付箋オブジェクトは右端から６ｃｍの位置に表示されなければならない。
【００８０】
このような、実空間方位と仮想空間方位（表示位置と）の相関関係をたとえばテーブルとして保有させておき、フラッシュメモリ３８から読み出した方位データを表示器１４の幅方向位置に変換することによって、付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを正しい表示位置に表示することができる。
【００８１】
その後ステップＳ３３において、ＣＰＵ３２は、方位が一致したかどうか判断する。先に述べたように、ユーザは付箋データを再生しようとするときは、付箋アイコンオブジェクトが図２の付箋オブジェクト２６の位置になるように実空間内での付箋装置１０の方位を変化させる。ステップＳ３３は、付箋アイコンオブジェクトが付箋オブジェクト２６として認識できるようになったかどうか、判断する。ユーザは、ステップＳ３３で“ＹＥＳ”が判断されるまで、付箋装置１０を実空間で移動させる。この移動操作に伴って、実空間内の位置または方向（実施例では方位）が場所情報として入力される。実施例では付箋装置１０が３軸地磁気センサ２８を内蔵していて、他方、ＣＰＵ３２が電子コンパス機能を実現するので、付箋装置１０の移動操作が方位すなわち場所情報の入力操作となる。
【００８２】
さらに、実施例では、上述のステップＳ３３において、ユーザの入力操作によって入力した方位が第２記憶手段であるフラッシュメモリ３８に図１１のように登録している付箋データに紐付けされている方位と一致したかどうか判断するようにしている。そして、このとき付箋アイコンオブジェクトオブジェクトが付箋オブジェクトに変化することによって、ユーザが入力した方位が付箋データの登録されている方位と一致したことを示す。
【００８３】
しかしながら、入力した方位と記憶している方位とが完全に一致する必要はなく、或る程度の許容度を持って「一致」していればよく、つまり、ステップＳ３３では、入力した方位（すなわち、位置または方向を示す場所情報)と記憶している方位（すなわち、位置または方向を示す場所情報)とが所定関係にあるかどうか判断すればよく、所定関係があるとき、ステップＳ３３で“ＹＥＳ”と判断される。
【００８４】
ステップＳ３３で“ＹＥＳ”が判断されると、ＣＰＵ３２は、次のステップＳ３５において、第２記憶手段すなわちフラッシュメモリ３８から、そのとき付箋オブジェクト２６として認識された付箋データを読み出して、第１記憶手段すなわちＲＡＭ３６の付箋データバッファ４４３に読み出す。そして、ＣＰＵ３２はバッファ４４３に読み出された付箋データを再生する。つまり、付箋データが音声データであれば、スピーカ２４やヘッドフォン（図示せず）から音声が出力される。付箋データが映像または画像データであれば、表示器１４にその映像または画像が表示される。付箋データがテキストデータであるときには、テキストが表示器１４に表示される。ストロークデータの場合、それが示す線画、文字などが表示器１４に表示される。
【００８５】
このようにして、ユーザは、表示器１４に表示された仮想空間内の付箋および／または付箋アイコンオブジェクト（図２）を目印にして実空間内で図３に示すユーザの周囲ＡＲにおいて付箋装置１０を移動（変位）させることによって、所望の付箋データを選択して再生することができる。
【００８６】
一旦貼り付けた付箋データを消去する場合、付箋操作プログラム４２２に基づいて、ＣＰＵ３２は図１３の動作を実行する。まずステップＳ４１で、先に説明した方法で、ユーザが剥しジェスチャを行なったかどうか、加速度センサ３０からの出力信号（図１０）を監視することによって判断する。ステップＳ４１で“ＹＥＳ”が判断されると、ＣＰＵ３２はステップＳ４３で、仮想空間内に貼り付けられている付箋データがあるかどうか、たとえばフラッシュメモリ３８のデータを参照することによって、判断する。つまり、そのときの付箋装置１０の実空間での方位に相当する仮想空間内の位置または方向に図２に示す付箋オブジェクト２６として認識できる付箋データが存在しているかどうか判断する。“ＮＯ”ならそのまま終了する。ただし、実際には、“ＮＯ”の場合、ユーザは付箋オブジェクト２６とＣＰＵ認識できる実空間内の位置または方向に付箋装置１０を移動させるので、フラッシュメモリ３８内に付箋データが記憶されていれば、やがてこのステップＳ４３で“ＹＥＳ”が判断されることになる。
【００８７】
ステップＳ４３で“ＹＥＳ”が判断されたとき、ＣＰＵ３２は、次のステップＳ４５において、フラッシュメモリ３８の該当する（位置または方向が一致した）付箋データを読み出して一旦バッファ４４３（図５）に移動（転送）する。
【００８８】
その状態で、表示器１４で確認アイコン（図示せず）を表示したり、スピーカ２４からの音声出力によって、ユーザに、その付箋データを本当に削除してもよいかどうか確認を求める。ユーザが削除容認の操作入力や音声入力を与えることによって、ステップＳ４７でＣＰＵ３２は“ＹＥＳ”を判断する。ステップＳ４７で“ＹＥＳ”が判断されれば、つまり、ユーザの削除ＯＫの最終確認が取れたとき、ステップＳ４９において、ＣＰＵ３２はバッファ４４３に転送していた該当の付箋データを消去する。
【００８９】
このように、一旦貼り付けた付箋データを剥しジェスチャに応答して剥がすことができる。つまり、仮想空間内の位置または方向が変化するように付箋装置１０を実空間内において変位させ、削除対象の付箋データが該当の位置または方向になる、そのような位置または方向に付箋装置１０がもたらされた状態で剥しジェスチャを実行するだけで、簡単に付箋データを削除することができる。
【００９０】
なお、上述の実施例では、付箋装置１０が３軸（２軸）地磁気センサ２８および３軸（２軸）加速度センサ３０を内蔵するものとして説明した。しかしながら、図１４に示すようなヘッドセット４６を用い、その中にこれらの３軸（２軸）地磁気センサ２８および３軸（２軸）加速度センサ３０を内蔵するようにしてもよい。ヘッドセット４６は、マイク４８とステレオヘッドフォン５０を備え、これらが図４のマイク２０およびスピーカ２４の代替物として利用され得る。ステレオヘッドフォン５０を音声出力手段として用いれば、音源定位可能に音声付箋データを再生することができる。
【００９１】
ヘッドセット４６に３軸（２軸）地磁気センサ２８を内蔵した場合、上述の実施例においては付箋装置１０自体を移動させることによって所望の貼り付け位置または方向を設定するようにしていたものを、ヘッドセット４６を装着したユーザ１の頭部の向きによって設定することができる。たとえば、ユーザ１は対象となっている付箋データを貼り付けたい方位に顔（頭部）を向けるだけで、貼り付けるべき仮想空間内の位置または方向を実空間内で指定することができる。頭部が向いている方位を、地磁気センサ２８の出力データを用いたＣＰＵ３２の電子コンパス機能で特定できる。
【００９２】
また、ヘッドセット４６に３軸（２軸）加速度センサ３０を内蔵した場合、上述の実施例においては付箋装置１０自体にスナップ運動をさせることによって貼付ジェスチャまたは剥しジェスチャを行なうようにしていたものを、ヘッドセット４６を装着したユーザ１の頭部の動きによって入力することができる。たとえば、ヘッドセット４６を装着した状態でユーザ1が顎を引く動作をしたとき、加速度センサ３０からの加速度データの独特の変化が生じ、ＣＰＵ３２がその独特の変化を検出することによって、貼付ジェスチャが行なわれたと判断することができる。また、たとえば、ヘッドセット４６を装着した状態でユーザ1が顎を上げる動作をしたとき、加速度センサ３０からの加速度データの別の独特の変化が生じ、ＣＰＵ３２がその別の独特の変化を検出することによって、剥しジェスチャが行なわれたと判断することができる。
【００９３】
また、実施例では、付箋装置１０自体を移動させることによって付箋データを再生するときの場所情報（位置または方向。実施例では方位。）あるいは付箋データを削除するときの場所情報（位置または方向。実施例では方位。）の入力するようにしていたが、図１３のヘッドセット４６に３軸（または２軸）地磁気センサを内蔵した場合には、当然、ヘッドセット４６を場所情報入力手段として利用することができる。
【００９４】
さらに、上述の実施例では、電子コンパスを用いた絶対方位によって、付箋を貼り付けるべき位置または方向を指定するようにした。しかしながら、付箋の位置または方向は、ユーザの正面を基準とする相対的な位置または方向であってよい。たとえば、顔の正面を０°とし、そこを基準として貼り付け位置を特定するようにしてもよい。ただし、このような相対的位置または方向を採用する場合、付箋装置１０を操作する都度、顔の正面を０°（または特定の角度）とする校正（キャリブレーション）を実行することが望ましい。さもなければ、相対的な位置または方向に毎回微差が生じ、付箋データを高密度に貼り付けようとすると、付箋データの混同を生じる可能性があるからである。
【００９５】
正面校正動作としては、一例として、付箋装置１０をユーザの顔の正面に配置した状態で付箋装置１０を上下に変位させるなどの方法が考えられる。つまり、付箋装置１０に内蔵した加速度センサ３０によってそのような上下方向の変位を検出し、その検出に応答して相対的角度を０°に校正すればよい。ただし、図１４に示すヘッドセット４６に加速度センサを内蔵した場合、ユーザ１の顔を上下に変位させることによって、同様に、正面校正を実行することかできる。
【００９６】
さらにまた、上述のいずれの実施例でも、ジェスチャ（貼付ジェスチャ、剥しジェスチャ、正面校正ジェスチャ）を付箋装置１０自体またはユーザの頭部に独特の動きを与えて、加速度センサからの加速度信号に独特の変化を生じさせ、他方で、ＣＰＵ（コンピュータ）３２でその独特の加速度変化を検出することによってジェスチャが行なわれたことを検出し、ジェスチャの種類を識別するようにした。
【００９７】
このようなジェスチャは、音声ジェスチャに代えてもよく、さらには付箋装置１０の動作またはユーザの頭部の動作と音声との組み合わせであっても構わない。
【００９８】
音声ジェスチャだけの場合、たとえば、２秒以上の発声が貼付ジェスチャであると定義し、「スー」という発音の音声が剥しジェスチャであると定義し、ＣＰＵ３２がマイク２０（４８：図１４）からの音声入力を識別するとこによって、これらのジェスチャを検出することができる。
【００９９】
また、上述の実施例における剥しジェスチャを取消（undo）ジェスチャとして利用することも可能である。したがって、たとえば貼付ジェスチャを入力して直後に剥しジェスチャを入力した場合、直後の剥しジェスチャが取消ジェスチャとして作用し、貼り付け動作を取り消すことができる。
【０１００】
実施例では、表示器１４で仮想空間を表示する際、特に背景画像を表示するかどうか言及しなかったが、図１５に示すように背景画像５２を表示し、その背景画像に重ねて図２に示す付箋オブジェクト２６および付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…を表示するようにしてもよい。ただしこの場合には、以下の点に注意する必要がある。
【０１０１】
上で説明したように、付箋データの再生や消去のためには付箋装置１０をユーザの周囲ＡＲにおいて回転（移動）させてその付箋データの仮想空間での貼り付け位置または方向を実空間の位置または方向に一致させる必要がある。付箋装置を回転（移動）させたときに、背景画像と付箋または付箋アイコンオブジェクトの位置が図１６に示すようにずれることが考えられるが、それはいかにも不自然である。本来はカメラ２２のレンズの焦点距離などのキャリブレーションを行っておくべきだが、手間がかかるだけでなく、付箋装置１０に対する様々な対応を考えると、予めキャリブレーションを行っておくのは困難である。そこで、付箋装置１０でその都度簡単に行えるキャリブレーション方法が必要である。
【０１０２】
そこで、別の実施例では、図１７（Ａ）に示すように、表示器１４に数点（実施例では２点）のマーク５４および５６を表示し、それらのマーク５４および５６が順に所定の位置になるように付箋装置１０を順にその方向に配置し、その都度タッチパネル１６（図１５）をタッチすることで、付箋装置１０において、個別にキャリブレーションを行うことができる。図１７（Ｂ）から図１７（Ｃ）へのＸ軸角度変化がｄαであり、２点間の距離をｄｘとしたとき、両者の対応関係はｄｘ＝ｋ１×ｄαとなる。したがって、ｋ1＝ｄｘ／ｄαと計算できる。仮にＹ軸についてもキャリブレーションが必要なら、２点間の距離ｄｙおよび角度変化ｄβとするとｄｙ＝ｋ２×ｄβとなり、ｋ２＝ｄｙ／ｄβと計算できる。これらの係数ｋ１およびｋ２が、付箋装置１０を移動させたとき、表示器１４において付箋オブジェクト２６および付箋アイコンオブジェクトオブジェクト２６ａを移動させる際の補正係数となる。
【０１０３】
さらに、上述の第１の実施例では、貼付ジェスチャおよび剥しジェスチャを入力するために、付箋装置１０に内蔵している３軸地磁気センサ２８および３軸加速度センサ３０を用いた。第２の実施例では、同じくヘッドセット４６（図１３）に内蔵した３軸地磁気センサおよび３軸加速度センサを用いた。つまり、貼付ジェスチャおよび剥しジェスチャを入力するために、いずれの実施例でも1つの装置に内蔵した２つのセンサを使うように説明した。しかしながら、たとえば付箋装置１０に内蔵している地磁気センサとヘッドセット４６に内蔵している加速度センサを組み合わせて用いてもよいし、付箋装置１０に内蔵している加速度センサとヘッドセット４６に内蔵している地磁気センサを組み合わせて用いてもよい。
【０１０４】
つまり、張付ジェスチャまたは剥しジェスチャのための位置または方向の指示手段として付箋装置１０に内蔵した地磁気センサおよびヘッドセットに内蔵した地磁気センサのどちらを用いてもよく、張付ジェスチャまたは剥しジェスチャのための貼付け動作または剥し動作の指示手段として付箋装置１０に内蔵した加速度センサおよびヘッドセットに内蔵した加速度センサのどちらを用いてもよい。
【０１０５】
さらには、位置または方向指示手段としては、もし付箋装置１０にＧＰＳユニットを内蔵していれば、そのＧＰＳユニットによる位置検出を利用するようにしてもよい。その場合、たとえば所定距離移動したとき、あるいは所定の交差点で付箋データを貼り付けたり剥したりすることができる。また、位置または方向指示手段としては、無線ＬＡＮの位置推定機能（たとえば、PlaceEngine：商品名）が利用可能である。
【０１０６】
そして、貼付け動作または剥し動作指示手段としては、実施例で説明した加速度センサ以外に、タッチパネル１６を利用してもよく、あるいは操作ボタン（図示せず）を利用するようにしてもよい。この場合、上で述べた位置または方向指示手段によって所要の位置または方向が指示されたときに、これらタッチパネルや操作ボタンで動作指示を入力するようにすればよい。さらに、この動作指示の入力手段としてマイクのような音声入力手段が用いられてもよい。その場合、位置または方向指示手段によってジェスチャの位置または方向を指示する前後において、あるいはそれと同時に、音声入力手段から独特の声（音声）を入力することによって、貼付動作指示または剥し動作指示を入力するようにすればよよい。
【符号の説明】
【０１０７】
１０ …マルチメディア付箋装置
１２ …ハウジング
１４ …表示器
１６ …タッチパネル
１８ …スイッチ
２０，４８ …マイク
２２ …カメラ
２４ …スピーカ
２６ …付箋
２６ａ1，２６ａ２，２６ａ３ …付箋アイコンオブジェクト
２８ …３軸地磁気センサ
３０ …３軸加速度センサ
３２ …ＣＰＵ（コンピュータ）
３４ …ＲＯＭ
３６ …ＲＡＭ
３８ …フラッシュメモリ
４２ …プログラム領域
４４ …データ記憶領域
４６ …ヘッドセット
５０ …ステレオヘッドフォン
【技術分野】
【０００１】
マルチメディア付箋装置に関し、特に、音声、映像または画像もしくはテキストデータさらにはストロークデータなどのマルチメディアコンテンツを仮想空間内の任意の位置または方向に付箋のように貼付し、または貼付したマルチメディアコンテンツ（付箋）を剥離できる、新規なマルチメディア付箋装置に関する。
【背景技術】
【０００２】
本件発明者等は、非特許文献１において、たとえば顔の正面に対する相対的方向に関連付けて音声メモを保存し、顔がその相対的方向に向けられたとき、その音声メモを再生する音声メモ装置を提案した。
【非特許文献１】米澤朋子、山添大丈「頭部方向に応じた音声メモの配置とブラウジング」信学技報, vol. 108, no. 328, MVE2008-61, pp. 9-14, 2008年11月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記背景技術においては、音声メモの再生が直感的にブラウジング（再生）されるという優れた効果があるものの、音声メモを保存している方向の変更や音声メモ自体の消去または削除などの操作は、コンピュータ画面に設定したＧＵＩに拠るほかなく、別途ＧＵＩのような操作手段を設けるなど、システムや操作が煩雑になるという問題があった。
【０００４】
それゆえに、この発明の主たる目的は、新規な、マルチメディア付箋装置を提供することである。
【０００５】
この発明の他の目的は、音声、映像または画像もしくはテキストデータさらにはストロークデータなどのマルチメディアコンテンツを仮想空間内の任意の位置または方向に付箋のように貼付し、または貼付したマルチメディアコンテンツ（付箋）を剥離できる、新規なマルチメディア付箋装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【０００７】
第１の発明は、音声データ、映像または画像データ、テキストデータおよびストロークデータの少なくとも1つを含む付箋データを記憶しておく第１記憶手段、貼付ジェスチャが行なわれたことを検出する貼付ジェスチャ検出手段、貼付ジェスチャ検出手段によって貼付ジェスチャを検出したことに応じて、第１記憶手段から読み出した付箋データを、貼付ジェスチャが示す実空間での位置または方向を示す場所情報とともに記憶する第２記憶手段、および仮想空間を表示し、付箋データの存在を、第２記憶手段から読み出した場所情報が示す実空間での位置または方向に相当する仮想空間での位置または方向に表示する存在表示手段を備える、マルチメディア付箋装置である。
【０００８】
第１の発明では、第１記憶手段（36,443：実施例において相当する要素を例示する参照符号。以下同じ。）にユーザが入力した付箋データを記憶する。付箋データは、音声データ、映像または画像データ、テキストデータおよびストロークデータの少なくとも1つであってよい。音声データの場合、付箋データは、たとえばマイクのような音声入力手段から入力されて第１記憶手段に記憶される。映像または画像データの場合、付箋データは、たとえばカメラのような映像または画像入力手段から入力されて第１記憶手段に記憶される。ただし、この映像または画像は、動画像であっても、１または複数の静止画像の集合であってもよい。さらに、テキストデータの場合、付箋データは、たとえばキー入力手段から入力されて第１記憶手段に記憶される。キー入力手段は、付箋装置がタッチパネルを備える実施例においては、ソフトキーボードとして形成される。しかしながら、別のハードキーボードを接続してテキスト入力を実行することも可能である。ストロークデータの場合は、タッチパネルのようなポインティングデバイスが指示する順次の座標位置データが第１記憶手段に記憶される。
【０００９】
ユーザが貼付ジェスチャを入力すると、貼付ジェスチャ検出手段（32,424,S21）によって、貼付ジェスチャが行なわれたことを検出する。貼付ジェスチャが検出されると、第１記憶手段から読み出した付箋データが第２記憶手段（38)に記憶される。このとき、付箋データは第２記憶手段に、貼付ジェスチャが示す実空間での位置または方向を示す場所情報と紐付けして記憶される。実施例の場合は、場所情報は方位データである。存在表示手段は、第２記憶手段から読み出した場所情報が示す実空間での位置または方向に相当する仮想空間での位置または方向に付箋データの存在を表示する。したがって、ユーザはその存在表示によって、その位置または方向に付箋データが貼り付けられていることが視認できる。存在表示は、実施例では、付箋オブジェクトや付箋アイコンオブジェクトオブジェクトである。付箋オブジェクトは、たとえばマルチメディア付箋装置自体の位置または方向が、上述の第２記憶手段に記憶した場所情報が示す位置または方向と一致しているとき、つまり、その付箋データを再生することができる状態であることを示し、付箋アイコンオブジェクトオブジェクトは、それが表示されている位置または方向に付箋データが貼付けられている（記憶または登録されている）ことを示す。
【００１０】
第１の発明では、貼付ジェスチャを検出したとき、その貼付ジェスチャが示す位置または方向に付箋データを貼り付けることができるので、容易に付箋データを貼り付けるとこができる。
【００１１】
第２の発明は、第１の発明に従属し、貼付ジェスチャを入力するための貼付ジェスチャ入力手段をさらに備え、貼付ジェスチャ検出手段は貼付ジェスチャ入力手段からの入力に基づいて貼付ジェスチャが行なわれたことを検出する、マルチメディア付箋装置である。
【００１２】
第２の発明では、貼付ジェスチャ入力手段は、一例として、地磁気センサおよび加速度センサの組み合わせとして構成され得る。そして、ユーザが地磁気センサおよび加速度センサを操作することによって、貼付ジェスチャを入力したとき、貼付ジェスチャ検出手段がその貼付ジェスチャを検出する。第２の発明によれば、ユーザが貼付ジェスチャ入力手段によって入力した貼付ジェスチャに応答して付箋データを貼り付けることができる。したがって、一旦第１記憶手段に記憶した付箋データを任意のタイミングで貼り付けることができる。
【００１３】
第３の発明は、第２の発明に従属し、貼付ジェスチャ入力手段は、実空間での位置または方向を指示する貼付位置または方向指示手段および貼付動作を指示するための貼付動作指示手段を含み、貼付ジェスチャ検出手段は、貼付位置または方向指示手段が指示する位置または方向を検出する手段および貼付動作指示手段が指示する貼付動作指示を検出する貼付動作指示検出手段を含む、マルチメディア付箋装置である。
【００１４】
第３の発明において、実施例では、位置または方向指示段として３軸地磁気センサ（28）を用い、貼付動作指示手段として３軸加速度センサ（30）を利用する。位置または方向を検出する手段（32,424,S21）は、実施例では、３軸地磁気センサが示す地磁気量に従って電子コンパス機能を実行して、それが示す貼付位置または方向（実施例では方位）を特定する。そして、３軸加速度センサが示す加速度の大きさの変化に基づいて、たとえば、貼付動作検出手段（32,424,S21）が貼付動作指示の有無を検出する。貼付動作指示検出手段が貼付動作を検出したとき、第２記憶手段（38）に、付箋データとともに、位置または方向を検出する手段（32,424,S21）が検出した位置または方向のデータが記憶される。第３の発明によれば、貼付動作のときに位置または方向を指示する手段と貼付動作指示手段とを別の手段で構成するとともに、位置または方向を検出する手段と貼付動作検出手段とを別の手段で構成したので、貼付ジェスチャの入力およびそれの検出が容易に行なえる。
【００１５】
第４の発明は、第１ないし第３のいずれかの発明に従属し、剥しジェスチャが行なわれたことを検出する剥しジェスチャ検出手段、および剥しジェスチャ検出手段によって剥しジェスチャを検出したことに応答して、第２記憶手段に記憶している該当の付箋データを消去する付箋データ消去手段をさらに備える、マルチメディア付箋装置である。
【００１６】
第４の発明では、剥しジェスチャ入力手段は、一例として、地磁気センサおよび加速度センサの組み合わせとして構成され得る。そして、ユーザが地磁気センサおよび加速度センサを操作して剥しジェスチャを入力したとき、剥しジェスチャ検出手段がその剥しジェスチャを検出する。そして、付箋データ消去手段（32,423,S49）が、剥しジェスチャの検出に応答して、付箋を剥す。つまり、第２記憶手段から付箋データを消去する。第４の発明によれば、貼付ジェスチャに応答して張り付けた付箋を、ＧＵＩのような操作手段を用いなくても、任意に剥すことができる。
【００１７】
第５の発明は、第４の発明に従属し、剥しジェスチャを入力するための剥しジェスチャ入力手段をさらに備え、剥しジェスチャ検出手段は剥しジェスチャ入力手段からの入力に基づいて剥しジェスチャが行なわれたことを検出する、マルチメディア付箋装置である。
【００１８】
第５の発明では、剥しジェスチャ入力手段は、一例として、地磁気センサおよび加速度センサの組み合わせとして構成され得る。そして、ユーザが地磁気センサおよび加速度センサを操作して剥しジェスチャを入力したとき、剥しジェスチャ検出手段がその剥しジェスチャを検出する。第５の発明によれば、ユーザが剥しジェスチャ入力手段によって入力した剥しジェスチャに応答して付箋データを消去して付箋を剥すことができる。第２記憶手段に記憶した付箋データを任意のタイミングで消去できる。
【００１９】
第６の発明は、第５の発明に従属し、剥しジェスチャ入力手段は、実空間での位置または方向を指示する剥し位置または方向指示手段および剥し動作を指示するための剥し動作指示手段を含み、剥しジェスチャ検出手段は、剥し位置または方向指示手段が指示する位置または方向を検出する手段および剥し動作指示手段が指示する剥し動作指示を検出する剥し動作指示検出手段を含み、付箋データ消去手段は、剥し位置または方向指示手段が指示する位置または方向に対応する付箋データを消去する、マルチメディア付箋装置である。
【００２０】
第６の発明において、実施例では、位置または方向指示手段として３軸地磁気センサ（28）を用い、剥し動作指示手段として３軸加速度センサ（30）を利用する。位置または方向を検出する手段（32,424,S41）は、実施例では、３軸地磁気センサが示す地磁気量に従って電子コンパス機能を実行して、それが示す剥し位置または方向（実施例では方位）を特定する。そして、３軸加速度センサが示す加速度の大きさの変化に基づいて、たとえば、剥し動作検出手段（32,424,S41）が剥し動作指示の有無を検出する。剥し動作指示検出手段が剥し動作を検出したとき、位置または方向を検出する手段（32,424,S41）が検出した位置または方向のデータが第２記憶手段に記憶している付箋データとともに記憶されている位置または方向データに対して所定関係を充足すれば、つまり、位置または方向を検出する手段が検出した位置または方向に付箋データが貼り付けられているとき、その付箋データを第２記憶手段から削除する。第６の発明によれば、剥し動作指示手段とその剥し動作を指示するときの位置または方向の指示手段とを別の手段で構成するとともに、位置または方向を検出する手段と剥し動作検出手段とを別の手段で構成したので、剥しジェスチャの入力およびそれの検出が容易に行なえる。
【００２１】
第７の発明は、第１ないし第６のいずれかの発明に従属し、実空間における位置または方向を表す場所情報を入力する場所情報入力手段、場所情報入力手段が入力した場所情報が示す位置または方向が、第２記憶手段に付箋データとともに記憶されている場所情報と所定関係にあるとき、付箋データを再生する再生手段をさらに備える、マルチメディア付箋装置である。
【００２２】
第７の発明においては、場所情報入力手段は、実施例においては、３軸地磁気センサ（28）およびＣＰＵ（32）で構成し、それによって入力した場所情報が示す位置または方向が第２記憶手段第２記憶している場所情報が示す位置または方向と所定関係（たとえば、一致している）にあるとき、第２記憶手段から該当の付箋データを読み出して、音声、映像または画像、あるいはテキスト、ストロークデータが示す線画や文字を出力する。音声はスピーカなどの音声出力手段によって、映像または画像もしくはテキストあるいは線画や文字は表示手段によって出力する。第７の発明によれば、付箋データを任意のタイミングで再生することができる。
【発明の効果】
【００２３】
この発明によれば、音声データ、映像または画像データ、テキストデータもしくはストロークデータなどのマルチメディアコンテンツを仮想空間内の任意の方向または位置に貼付し、または剥離できる、マルチメディア付箋装置が得られる。
【００２４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２５】
【図１】図1はこの発明の実施例のマルチメディア付箋装置の利用形態の一例を示す図解図である。
【図２】図２は実施例のマルチメディア付箋装置を示す外観図である。
【図３】図３は実施例のマルチメディア付箋装置の使用方法を概説するための図解図である。
【図４】図４は実施例のマルチメディア付箋装置の構成を示すブロック図である。
【図５】図５は実施例のマルチメディア付箋装置のＲＡＭのメモリマップの一例を示す図解図である。
【図６】図６は実施例において付箋データを生成する動作の一例を示すフロー図である。
【図７】図7は実施例において付箋データを貼り付ける動作の一例を示すフロー図である。
【図８】図８は実施例において実行される貼付ジェスチャの一例を示す図解図である。
【図９】図９は実施例において実行される剥しジェスチャの一例を示す図解図である。
【図１０】図１０は実施例において貼付ジェスチャおよび剥しジェスチャを加速度信号（データ）から検出する方法を示すグラフである。
【図１１】図１１は実施例においてフラッシュメモリに付箋データを蓄積した状態を示す図解図である。
【図１２】図１２は実施例において付箋データを剥がす動作の一例を示すフロー図である。
【図１３】図１３は実施例において付箋データを剥がす動作の一例を示すフロー図である。
【図１４】図１４は別の実施例で用いるヘッドセットを示す図解図である。
【図１５】図１５は背景画像を表示する別の実施例のマルチメディア付箋装置を示す図解図である。
【図１６】図１６は図１５実施例において付箋（および付箋アイコンオブジェクト）と背景画像とがずれたことを示す図解図である。
【図１７】図１７はこのようなずれを校正するための方法を概説するための図解図である。
【発明を実施するための最良の形態】
【００２６】
図１に示すように、この実施例のマルチメディア付箋装置（以下、単に「付箋装置」という。）１０は、ユーザ１の手に持って使用される。この実施例においては、付箋装置１０は手持ち可能な携帯情報端末であり、一例として、アップル社製の携帯電話機ｉｐｈｏｎｅ３Ｇ（商品名）を用いる。ただし、この具体的な商品名の携帯端末だけでなく、同等の機能を有する携帯電話機、さらにはＰＤＡなど任意の携帯情報端末が利用可能である。
【００２７】
たとえば、付箋装置１０をユーザ１が実空間内で操作することによって、その実空間内の位置や方向に対応する仮想空間の位置や方向に、音声データ、映像または画像データ、もしくはテキストデータさらにはストロークデータなどのマルチメディアコンテンツを付箋（必要事項を書いて貼り付け、不要になればはがせる、たとえば「ポストイット」（商品名）のようなもの）として配置したり、一旦配置した付箋を削除したり、または配置している付箋を構成するコンテンツを再生するものである。
【００２８】
図２には、携帯電話機ｉｐｈｏｎｅ３Ｇ（商品名）である実施例の場合の付箋装置１０が、図解される。付箋装置１０はほぼ矩形の扁平なハウジング１２を含み、ハウジング１２の前面には、たとえばＬＣＤ（液晶表示器）のような表示器１４が設けられ、表示器１４の上にはタッチパネル１６が配置される。タッチパネル１６は、抵抗膜式または静電容量式のいずれでもよく、あるいはもし存在するなら別の方式のタッチパネルであってよい。
【００２９】
表示器１４の右側のハウジング前面には、「ホームボタン」と呼ばれる押しボタンスイッチ１８が設けられ、このスイッチ１８は、メニューを選択したり、カメラのシャッタとして用いられたり、様々に利用されるハードスイッチである。このスイッチ１８の上の右側面には、図２において点線で示すマイク２０が設けられる。マイク２０は音声入力手段またはその一部を構成する。
【００３０】
表示器１４の左側のハウジングの後面には、図２において点線で示すカメラ２２が設けられる。このカメラ２２は、映像または画像の入力手段またはそれの一部を構成する。カメラ２２の下方のハウジング１２の前面には、音声出力手段の一例であるスピーカ２４が配置される。
【００３１】
表示器１４には仮想空間が表示され、その仮想空間内には、付箋データ（音声データ、映像または画像データ、テキストデータ、ストロークデータなど）の存在を示す付箋オブジェクト２６や付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…が表示される。これらの付箋オブジェクト２６や付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…によって、ユーザ1は、その位置および／または方向に付箋データが配置されていることを視覚的に知ることができる。ただし、付箋オブジェクト２６と付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…の違いは、付箋オブジェクト２６は付箋装置１０のそのときの位置または方向が、その付箋オブジェクト２６の付箋データを貼り付けるための貼付ジェスチャをした実空間内での位置または方向に一致したかまたはほぼ一致したことを示すのに対し、付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…は付箋オブジェクト２６の位置または方向とは異なる位置または方向に付箋データが貼り付けられていることを示す。
【００３２】
ここで、付箋装置１０のそのときの位置または方向を示す場所情報が、その付箋オブジェクト２６の付箋データを貼り付けるための貼付ジェスチャをした実空間内での位置または方向を示す場所情報に一致したかまたはほぼ一致したことを検出するためには、２つの付箋データの位置または方向が完全に一致するかを判断してもよく、あるいは２つの付箋データの位置または方向がおよそ一致するかを判断してもよい。前者の場合、実施例においては電子コンパスで検出した方位データが一致するかどうか判断すればよいし、後者の場合、方位データが所定範囲（たとえば、５°）内で重なるかどうか判断することができる。
【００３３】
詳しくいうと、実施例の付箋装置１０を利用するとき、ユーザ１はこの付箋装置１０にマルチメディアコンテンツデータ（付箋データ）を入力し、付箋装置１０を手に持って、図３に示すように、実空間内のユーザ１を囲む周囲ＡＲの適宜の位置および／または方向において貼付ジェスチャ（後述）を実行することによって、その位置および／または方向にその付箋データを配置（貼付）する。そして、このようにして貼り付けた付箋を再生するときには、その付箋データの存在を示す付箋アイコンオブジェクト２６ａが図２において付箋オブジェクト２６で示す位置および／または方向になるように、付箋装置１０をその周囲ＡＲにおいて動かす。実施例では、付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…は付箋より薄い色で表示され、付箋として認識される位置および／または方向に付箋装置１０がもたらされたとき、より濃い色の付箋オブジェクト２６として認識できるように表示色が変更される。
【００３４】
そして、付箋装置１０を周囲ＡＲの所定の位置または方向にもたらしたとき、すなわち付箋オブジェクト２６が認識できた状態において、その付箋オブジェクト２６を形成する付箋データ（マルチメディアコンテンツ）が実施例では自動的に再生される。たとえば、付箋データが音声データであれば、スピーカ２４から、または図示しないヘッドフォンから音声が出力される。付箋データが映像または画像データであれば、表示器１４（図２）にその映像または画像が表示される。同様に、付箋データがテキストデータであるときには、そのテキストデータで示されるテキストが表示器１４に表示される。付箋データがストロークデータであるときには、そのストロークデータで示される線画や文字が表示器１４に表示される。なお、ストロークデータとは、タッチパネル１６に直接描いた線画や文字を表すタッチパネル上の順次の座標のデータである。このストロークデータによって手書きメモを付箋として記憶し再生することができる。
【００３５】
なお、映像または画像は、動画像であってもよく、１枚または複数枚の静止画像の組であってもよい。たとえば、黒板や白板あるいは紙などに手書きしたメモを付箋装置１０のカメラ２２で撮影することによって、手書きメモの静止画像を付箋データとして生成することもできる。つまり、映像または画像によっても手書きメモを付箋として残して、それを再生することができる。
【００３６】
図４を参照して、付箋装置１０は、上で説明した表示器１４、タッチパネル１６、スイッチ１８、マイク２０、カメラ２２およびスピーカ２４の他、図４に示すように、３軸地磁気センサ２８、３軸加速度センサ３０、ＣＰＵ３２、ＲＯＭ３４、ＲＡＭ３６、フラッシュメモリ３８および時計回路４０を含む。
【００３７】
表示器１４にキーボード画像を表示し、そのキーボード画像に示すキー位置でのユーザのタッチをタッチパネル１６で検出することによって、キー入力ができる。いわゆるソフトキーボードである。実施例の付箋装置１０のＣＰＵ（コンピュータ）３２は、このようなソフトキーボードを用いて、テキストデータを入力したり、付箋モードを選択または指定したり、付箋データの種類を決定したり、適宜の必要な操作をコンピュータ（ＣＰＵ）３２に指示することができる。
【００３８】
また、スイッチ１８の操作がＣＰＵ３２によって検出でき、ＣＰＵ３２はスイッチ１８の操作を検出したとき、そのときのモードやタイミングに応じて予め設定されている機能を達成する。たとえば、カメラモードが設定されているときスイッチ１８が操作されると、それをいわゆるシャッタ操作とみなして、ＣＰＵ３２はそのタイミングでカメラ２２からの画像をＲＡＭ３６のデータ領域に取り込む。音声や動画像を入力する際には、ＣＰＵ３２は、スイッチ１８の最初の操作を開始指示、次の操作を終了指示としてその間の音声データや映像データを取り込むようにしてもよい。
【００３９】
ただし、音声入力の場合、スイッチ１８の操作によって開始、終了を指示するのではなく、音声入力の有無を判断して自動的に取り込むこともできる。ＣＰＵ３２は、たとえば、マイク２０から入力される音声信号から音声の信号（有音）である区間（音声区間）の切り出しを試み、音声区間が切り出せた場合に音声の入力があると判断する。そして、音声区間の切り出しでは、音声信号のレベルが閾値を上回る時間がたとえば０．３秒を超えた位置を発話開始（音声区間開始）とみなし、その後音声信号のレベルが閾値を下回る時間がたとえば１．０秒を超えたときに閾値を下回り始めた位置を発話停止（音声区間終了）とみなすことにより音声区間を決定する。
【００４０】
３軸地磁気センサ２８は、直交３軸方向の地磁気の強さを検知するもので、この実施例では、ＣＰＵ３２とともに電子コンパスまたはディジタルコンパスを構成するために利用される。電子コンパスは、よく知られているように、２つの地磁気センサを直角に組み合わせて、前後方向と左右方向の地磁気を検出し、その強さからどちらが北の方向なのかを計算する。ただし、実施例のような３軸タイプでは、前後方向と左右方向の２つの地磁気センサに加えて上下方向の地磁気を検出する第３の地磁気センサを持っているため、たとえば、付箋装置１０を傾けて持っても、１つの地磁気センサで何度傾けて持っているかがわかるので、その傾き分を差し引いて水平方向の地磁気を計算することによって、正しい方位を検出できる。したがって、もし付箋装置１０を図２に示すように常に垂直に立てて使用するものと決めれば、傾きを検出する必要がないので、２軸の地磁気センサで十分である。
【００４１】
この３軸または２軸地磁気センサ２８は、後に説明するように、ユーザが貼付ジェスチャおよび剥しジェスチャなどを入力するために利用される。貼付ジェスチャおよび剥しジェスチャでは、位置または方向の指示と、貼付けおよび剥し動作の指示とを入力する必要があり、この地磁気センサ２８は位置または方向指示手段として機能する。
【００４２】
３軸加速度センサ３０は、この実施例では、後に説明するように、ユーザが貼付ジェスチャおよび／または剥しジェスチャなどを入力するために利用される。ただし、上記のジェスチャを決まった方向でのみ行なうものと決めれば、加速度センサも２軸のものでよい。上述のように貼付ジェスチャおよび剥しジェスチャでは、位置または方向の指示と、貼付けおよび剥し動作の指示とを入力する必要があり、この加速度センサ３０は貼付けおよび剥し動作指示手段として機能する。
【００４３】
先に説明したように、付箋装置１０はスピーカ２４を備えるが、このスピーカ２４に代えて、またはスピーカ２４と併用するために、ヘッドフォン（図示せず）を設けてもよい。ステレオヘッドフォンを用いれば、音源定位可能に音声メモ（音声付箋）を再生することができる。
【００４４】
付箋装置１０に含まれるＲＡＭ３６には図５に示すように、プログラム領域４２およびデータ領域４４が設けられる。プログラム領域４２にはＲＯＭ３４に予め設定されている種々のプログラムが使用に際して展開される。たとえばＯＳ領域４２１にはＯＳ（Operating System）が記憶される。付箋データ生成プログラム領域４２２には、上で説明した付箋データ、たとえば音声データ、映像または画像データ、テキストデータ、ストロークデータなどを生成して保存するためのプログラムが設定される。音声付箋データを取得する場合、ＣＰＵ３２は、この領域４２２に設定されている音声付箋データ生成プログラムに従って、マイク２０からの音声入力を取り込む。映像または画像付箋データを取得する場合、ＣＰＵ３２は、この領域４２２に設定されている映像または画像付箋生成プログラムに従って、カメラ２２からの映像または画像入力を取り込む。テキスト付箋データを取得する場合、ＣＰＵ３２は、この領域４２２に設定されているテキスト付箋生成プログラムに従って、前述のソフトキーボードを設定するとともに、タッチパネル１６からのタッチ信号に応じて、操作キーを特定してキー入力を得る。ストロークデータを取得する場合、ＣＰＵ３２は領域４２２に設定されているストロークデータ付箋生成プログラムに従って、タッチパネル１６（または別のポインティングデバイス）が示す順次の座標位置データを入力する。
【００４５】
付箋操作プログラム領域４２３には、付箋を貼り付けたり、剥がしたり、さらには付箋データを再生したりするための付箋操作プログラムが設定される。付箋操作プログラムによって付箋データを再生するとき、音声はスピーカ２４やヘッドフォン（図示せず）から出力され、映像または画像は表示器１４に出力され、テキストやストロークデータが示す線画や文字も同様に表示器１４に出力される。
【００４６】
付属プログラム領域４２４には、ＣＰＵ３２によって電子コンパスを機能させたり、貼付ジェスチャや剥しジェスチャ、さらには正面校正ジェスチャなどを検出したりするための付属プログラムが設定される。
【００４７】
ＲＡＭ３６のデータ記憶領域４４には、表示オブジェクト画像データ記憶領域４４１、センサデータ記憶領域４４２、付箋データバッファ４４３などが形成される。
【００４８】
表示オブジェクト画像データ記憶領域４４１には、図２に示すような付箋オブジェクト２６や付箋アイコンオブジェクト２６ａ、ソフトキーボードのためのキーボード画像、その他の画像を表示するためのオブジェクト画像データが予め設定される。
【００４９】
センサデータ記憶領域４４２には、３軸（または２軸）地磁気センサ２８や３軸（または２軸）加速度センサ３０で検知した地磁気の大きさを示す地磁気データや加速度の大きさを示す加速度データが記憶される。ＣＰＵ３２は、前述の付属プログラムに従って、この地磁気データを利用して電子コンパスを機能させ、あるいは加速度データを利用して貼付ジェスチャや剥しジェスチャなどのジェスチャが行なわれたかどうかを判断する。
【００５０】
付箋データバッファ４４３は、付箋データとして入力された音声データ、映像または画像データ、テキストデータ、ストロークデータなどを一時的に蓄積するための領域であり、第１記憶手段として機能する。貼付ジェスチャに応じて、このバッファ４４３から、第２記憶手段として機能するフラッシュメモリ３８に付箋データが転送されて記憶される。また、剥しジェスチャに応じて、フラッシュメモリ３８に登録してあった付箋データがこのバッファ４４３に転送されて記憶される。
【００５１】
ただし、フラッシュメモリ３８は不揮発メモリの一例であり、第２記憶手段としては、他の任意の形式の不揮発メモリをフラッシュメモリ３８に代えて、あるいはフラッシュメモリ３８とともに利用することができる。
【００５２】
図６を参照して、付箋装置１０のＣＰＵ（コンピュータ）３２は、図５のプログラム領域４２の付箋データ生成プログラム４２１に従って、ステップＳ１で、上で説明したようなスイッチ１８の操作を検出したり、あるいは音声区間の切り出しを実行したりして、マイク２０から音声信号入力があるかどうか判断する。音声信号入力があるときには、ＣＰＵ３２は、ステップＳ１で“ＹＥＳ”を判断し、入力された音声信号を音声データに変換して、続くステップＳ３において、図５に示す付箋データバッファ４４３に保存する。ストロークデータの場合は、ストロークデータ入力モードにおいて、ポインティングデバイス、実施例ではタッチパネル１６が示す順次の座標位置データをバッファ４４３に書き込む。
【００５３】
ＣＰＵ３２は、ステップＳ１で“ＮＯ”を判断したときには、ステップＳ５において、スイッチ１８の操作を検出するなどして、カメラ２２から映像信号または画像信号が入力されたかどうか判断する。映像信号または画像信号が入力されたたとき、ＣＰＵ３２は、その映像信号または画像信号を映像または画像データに変換して、ステップＳ７において映像または画像データを付箋データバッファ４４３に保存する。
【００５４】
ステップＳ５で“ＮＯ”を判断したときには、ステップＳ９において、ＣＰＵ３２は、テキストデータが入力されたかどうか判断する。テキストデータの入力があると、ＣＰＵ３２はステップＳ９で“ＹＥＳ”を判断し、ステップＳ１１においてテキストデータを付箋データバッファ４４３に保存する。なお、このテキストデータ入力に際しては、ＣＰＵ３２は、テキスト入力をするときのユーザの操作に従って、オブジェクト画像データ記憶領域４４１からキーボード画像データを読み出して、表示器１４にキーボード画像を表示すると共に、タッチパネル１６からのタッチ入力を検出するとこによって、そのキーボード上のどのキーが操作（タッチ）されたか判断し、テキストデータをバッファ４４３に書き込む。したがって、ステップＳ９でテキスト入力かどうか判断するためには、そのようなユーザからの指示があったかどうか判断すればよい。
【００５５】
また、音声と映像または画像、あるいは映像または画像とテキスト、音声とテキストなどのように、任意の組み合わせの２以上のデータを１つの付箋データとしてバッファ４４３に保存することも可能である。たとえば、ナレーション付の写真を、音声データと映像または画像データを含む１つの付箋として処理することができる。つまり、付箋データは単一メディアのデータだけでなく、ミックスメディアのデータであってよい。
【００５６】
このようにして、付箋データ生成プログラムに従って付箋データが生成され、付箋データバッファ４４３（図５）に保存される。
【００５７】
そして、図７のステップＳ２１においてＣＰＵ３２が貼付ジェスチャが行なわれたと判断したとき、そのとき付箋データバッファ４４３に保存されている付箋データを仮想空間内に貼り付ける。具体的には、フラッシュメモリ３８に記憶する。
【００５８】
この実施例では、貼付ジェスチャおよび剥しジェスチャを共に、付箋装置１０自体の動きで実行できるようにしている。具体的には、貼付ジェスチャを図８に、剥しジェスチャを図９にそれぞれ示す。
【００５９】
図８に示す貼付ジェスチャでは、ユーザは右手で付箋装置１０の右端を、表示器１４が手前側（自分側）になるように持って、その状態で付箋装置１０の左側が矢印Ａのように自分から遠ざかるように、付箋装置１０を振る。一方、図９に示す剥しジェスチャでは、ユーザは右手で付箋装置１０の右端を図８と同じように持って、その状態で付箋装置１０の左側が矢印Ｂのように自分に近づくように、付箋装置１０を振る。この貼付ジェスチャおよび剥しジェスチャは、図１０に示す３軸加速度センサ３０（図４）からの出力信号を監視することによって検出することができる。
【００６０】
図１０（Ａ）は３軸加速度センサ３０の各軸出力信号を示し、一点鎖線がＸ軸加速度を、点線がＹ軸加速度を、実線がＺ軸加速度をそれぞれ示す。このような加速度センサの各軸出力信号が、Ａ／Ｄ変換されたセンサデータとして、センサデータ領域４４２（図５）に取り込まれる。ＣＰＵ３２は、その後、付属プログラム４２４に従って、このセンサデータをハイパスフィルタ処理して、画面に垂直なＺ軸の加速度データだけに基づいて、最大値および最小値がどのような順番で検出できたかを判別する。図８または図９のようなスナップ動作をするとき、Ｘ軸およびＹ軸のそれぞれの加速度はＺ軸のそれより小さいので、付属プログラムは、ＣＰＵ３２は、ハイパスフィルタ処理後のＺ軸加速度データだけでどちらのスナップ動作が行なわれたかを判定するようにしている。
【００６１】
図１０（Ｂ）の点Ｐ１におけるように、Ｚ軸加速度の最大値が最小値より先に入力されたということは、付箋装置１０の表示器１４の手前側、つまり自分側への力が加わったことを意味する。よって、ユーザが付箋装置１０に対して図８のようなスナップ運動をさせた場合には、ＣＰＵ３２は、貼付ジェスチャが行なわれたと判断する。これに対して、図１０（Ｂ）の点Ｐ２におけるように、Ｚ軸加速度の最小値が最大値より先に入力されたことを検出した場合、この場合には、付箋装置１０の裏面側への力が加わったことを意味する。したがって、ユーザが付箋装置１０に対して図９のようなスナップ運動をさせた場合には、ＣＰＵ３２は、剥しジェスチャが行なわれたと判断する。
【００６２】
ただし、このようにして貼付ジェスチャか剥しジェスチャを一旦検出した後は、ＣＰＵ３２は一定時間（たとえば、２秒程度）はジェスチャを検出しないように、付属プログラムが設定されている。その理由は、予期していない連続入力の検出を防止するとともに、あたかも団扇を使うようにパタパタするだけの動作は貼付ジェスチャや剥しジェスチャとしては検出しないようにするためである。
【００６３】
さらに、貼付ジェスチャや剥しジェスチャは、付箋装置１０のこのようなスナップ動作だけでなく、付箋装置１０に別の動きを生じさせることによって入力することもできるし、付属装置１０自体の運動（動き）ではなく、たとえばユーザの頭部の動きで入力することもできるし、さらには、音声によって貼付ジェスチャまたは剥しジェスチャを入力することもできる。この発明における貼付ジェスチャや剥しジェスチャなどのジェスチャは実施例で説明した具体例に限るものではなく、任意のジェスチャを貼付ジェスチャおよび剥しジェスチャとして利用可能である。
【００６４】
上述のようにして貼付ジェスチャを検出すると、付箋操作プログラム４２３に従って、ＣＰＵ３２は図７のステップＳ２１において“ＹＥＳ”と判断し、次のステップＳ２３で、ＣＰＵ３２は、そのとき付箋データバッファ４４３（図５）に保存されている付箋データを、仮想空間内に貼り付ける。具体的には、ＣＰＵ３２は、付箋データをバッファ４４３からフラッシュメモリ３８へ転送して、図１１に示すように記憶させる。
【００６５】
図１１では、フラッシュメモリ３８の１つの記憶場所に、付箋データの種類（音声、映像または画像、テキストなど）を示す種類データ４６、付箋データ４８および方位データ５０が一緒に記憶される。
【００６６】
種類データは、付箋データが音声データなのか、映像（画像）データなのか、テキストデータなのかを表す数値（コード）である。たとえば、次の表１の通り。ただし、ストロークデータについては省略した。
【００６７】
【表１】
【００６８】
このようなメディア種類の違いに応じて、図２に示す付箋オブジェクト２６や付箋アイコンオブジェクトの２６の形状や模様（テクスチャ）を変更するようにしてもよい。その場合には、表示用オブジェクト画像データとして各メディア種類に固有の形状や模様（テクスチャ）のオブジェクト画像を準備しておく必要がある。そして、ＣＰＵ３２は図２のように付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを表示する際、付箋データの種類に応じた形状や模様（テクスチャ）の付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを選択的に表示する。
【００６９】
付箋データ４８は、図６で示す付箋データ生成プログラムに従って生成したデータである。そして、方位データ５０は、貼付ジェスチャが実行された「方位」を示すデータである。
【００７０】
先に説明したように、この実施例の付箋装置１０は付属プログラムに従って電子コンパスの機能を実行することができる。付箋データ４８とともに記憶される方位データ５０は、この電子コンパスで検出した方位であり、「北」を０°としたときの、実空間で貼付ジェスチャが行なわれたときの付箋装置１０の方位を示すデータである。仮に、図３の「１０」の位置で貼付ジェスチャを行なったものとし、そのときの方位が「北東」であるとすると、方位データ５０としては、４５°が書き込まれる。
【００７１】
付箋データ４８と共に実空間の方位データ５０を紐付けて記憶させるのは、実空間の方位に相当する仮想空間内の位置または方向に、図２のような付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを表示する必要があるからである。ただし、図２では便宜上、ユーザ１の前面１８０°の範囲が貼付け可能範囲として設定しているが、この範囲は当然３６０°（厳密には３５９°）まで拡大することができる。
【００７２】
なお、ステップＳ２１で貼付ジェスチャを検知するとステップＳ２３で貼付け動作（フラッシュメモリ３８への転送記憶）を行なうようにしたが、もし、今回の付箋データの貼り付けるべき位置または方向（実施例では、電子コンパスが検知した方位）が先に貼り付けた付箋データの位置または方向（方位）が同じであれば、図２に示す付箋オブジェクト２６または付箋アイコンオブジェクトオブジェクト２６ａの表示位置が重なってしまうので、そのための対応（処理）をしなければならないかもしれない。
【００７３】
たとえば、ステップＳ２３の前で、ＣＰＵ３２によって、既に貼り付けている付箋データと今回貼り付けるべき付箋データとがそれらの位置または方向で重なるかどうか判断する。「重なる」かどうかの判断においては、２つの付箋データの位置または方向が完全に一致するかを判断してもよく、あるいは２つの付箋データの位置または方向がおよそ一致するかを判断してもよい。前者の場合、実施例においては電子コンパスで検出した方位データが一致するかどうか判断すればよいし、後者の場合、方位データが所定範囲（たとえば、５°）内で重なるかどうか判断することができる。
【００７４】
そして、位置または方向が重なった場合、今回の付箋データの貼付けを拒否して、ユーザにその旨を知らせるメッセージ（たとえば「既に貼り付けている付箋の方位と同じなので貼付けできません。」）を表示器１４で表示し、他方その拒否した付箋データを付箋データバッファ４４３（図５）から削除する方法が考えられる。しかしながら、他の処理方法が採用されてもよい。
【００７５】
たとえば「既に貼り付けている付箋の方位と同じなので貼付けできません。貼付方位を変更してください。」というメッセージを表示して、異なる方位でユーザが再度貼付ジェスチャを実行するように促す方法も可能である。ただし、この場合にはメッセージを表示した段階では自動的に付箋データをバッファから消去するのではなく、再度の貼付ジェスチャを促したにも拘らず所定時間内に貼付ジェスチャが検知されなかったときにだけ付箋データをバッファから消去すればよい。
【００７６】
今回の付箋データの貼付け位置または方向が既に貼り付けている付箋データの位置または方向と初めから重なっていないとき、あるいは再度貼付ジェスチャをユーザに行なわせた結果２つの付箋データの貼付け位置または方向が重ならなくなったとき、ステップＳ２３を実行するようにすればよい。
【００７７】
このようにして仮想空間に貼り付けた付箋データを再生するとき、付箋操作プログラム４２２（図５）に基づいて、図１２に示すフロー図に従って動作する。ユーザが、図示しない適宜の操作部を操作して付箋データ再生モードを設定したとき、最初のステップＳ３１で、ＣＰＵ３２は、フラッシュメモリ３８の記憶内容を参照して、図２に示すように、付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを表示器１４によって、仮想空間内の該当する場所に表示する。上で述べたように、フラッシュメモリ３８には付箋データの実空間内の貼付場所が方位データで示されているので、ＣＰＵ３２は、付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを表示する際、実空間の方位データで示す方位を表示器１４上の位置すなわち仮想空間内の方位に変換する必要がある。
【００７８】
たとえば、表示器１４におい、その全幅を使って図２に示すような１８０°の仮想空間が表示できるように設定したとすると、このとき表示器１４には、幅方向のちょうど中央が実空間での「北」となり、そこから左右それぞれ９０°の範囲、つまり北を通る実空間での「東」から「西」までを、仮想空間として表示可能である。したがって、たとえば、図１１の方位データ５０として「４５°」が記憶されているとすると、付箋データは「北東」の場所に配置されていなければならない。つまり、付箋装置１０の裏面を実空間の「北」に向けた状態で、表示器１４の左端を「西」とし右端を「東」とした場合の「北東」の位置、たとえば表示器１４の幅が８ｃｍだとすると、右端から４ｃｍの場所がその付箋オブジェクトの表示されるべき場所である。
【００７９】
ただし、表示器１４の全幅を３６０°に設定した場合は、付箋オブジェクトは右端から６ｃｍの位置に表示されなければならない。
【００８０】
このような、実空間方位と仮想空間方位（表示位置と）の相関関係をたとえばテーブルとして保有させておき、フラッシュメモリ３８から読み出した方位データを表示器１４の幅方向位置に変換することによって、付箋オブジェクト２６や付箋アイコンオブジェクト２６ａを正しい表示位置に表示することができる。
【００８１】
その後ステップＳ３３において、ＣＰＵ３２は、方位が一致したかどうか判断する。先に述べたように、ユーザは付箋データを再生しようとするときは、付箋アイコンオブジェクトが図２の付箋オブジェクト２６の位置になるように実空間内での付箋装置１０の方位を変化させる。ステップＳ３３は、付箋アイコンオブジェクトが付箋オブジェクト２６として認識できるようになったかどうか、判断する。ユーザは、ステップＳ３３で“ＹＥＳ”が判断されるまで、付箋装置１０を実空間で移動させる。この移動操作に伴って、実空間内の位置または方向（実施例では方位）が場所情報として入力される。実施例では付箋装置１０が３軸地磁気センサ２８を内蔵していて、他方、ＣＰＵ３２が電子コンパス機能を実現するので、付箋装置１０の移動操作が方位すなわち場所情報の入力操作となる。
【００８２】
さらに、実施例では、上述のステップＳ３３において、ユーザの入力操作によって入力した方位が第２記憶手段であるフラッシュメモリ３８に図１１のように登録している付箋データに紐付けされている方位と一致したかどうか判断するようにしている。そして、このとき付箋アイコンオブジェクトオブジェクトが付箋オブジェクトに変化することによって、ユーザが入力した方位が付箋データの登録されている方位と一致したことを示す。
【００８３】
しかしながら、入力した方位と記憶している方位とが完全に一致する必要はなく、或る程度の許容度を持って「一致」していればよく、つまり、ステップＳ３３では、入力した方位（すなわち、位置または方向を示す場所情報)と記憶している方位（すなわち、位置または方向を示す場所情報)とが所定関係にあるかどうか判断すればよく、所定関係があるとき、ステップＳ３３で“ＹＥＳ”と判断される。
【００８４】
ステップＳ３３で“ＹＥＳ”が判断されると、ＣＰＵ３２は、次のステップＳ３５において、第２記憶手段すなわちフラッシュメモリ３８から、そのとき付箋オブジェクト２６として認識された付箋データを読み出して、第１記憶手段すなわちＲＡＭ３６の付箋データバッファ４４３に読み出す。そして、ＣＰＵ３２はバッファ４４３に読み出された付箋データを再生する。つまり、付箋データが音声データであれば、スピーカ２４やヘッドフォン（図示せず）から音声が出力される。付箋データが映像または画像データであれば、表示器１４にその映像または画像が表示される。付箋データがテキストデータであるときには、テキストが表示器１４に表示される。ストロークデータの場合、それが示す線画、文字などが表示器１４に表示される。
【００８５】
このようにして、ユーザは、表示器１４に表示された仮想空間内の付箋および／または付箋アイコンオブジェクト（図２）を目印にして実空間内で図３に示すユーザの周囲ＡＲにおいて付箋装置１０を移動（変位）させることによって、所望の付箋データを選択して再生することができる。
【００８６】
一旦貼り付けた付箋データを消去する場合、付箋操作プログラム４２２に基づいて、ＣＰＵ３２は図１３の動作を実行する。まずステップＳ４１で、先に説明した方法で、ユーザが剥しジェスチャを行なったかどうか、加速度センサ３０からの出力信号（図１０）を監視することによって判断する。ステップＳ４１で“ＹＥＳ”が判断されると、ＣＰＵ３２はステップＳ４３で、仮想空間内に貼り付けられている付箋データがあるかどうか、たとえばフラッシュメモリ３８のデータを参照することによって、判断する。つまり、そのときの付箋装置１０の実空間での方位に相当する仮想空間内の位置または方向に図２に示す付箋オブジェクト２６として認識できる付箋データが存在しているかどうか判断する。“ＮＯ”ならそのまま終了する。ただし、実際には、“ＮＯ”の場合、ユーザは付箋オブジェクト２６とＣＰＵ認識できる実空間内の位置または方向に付箋装置１０を移動させるので、フラッシュメモリ３８内に付箋データが記憶されていれば、やがてこのステップＳ４３で“ＹＥＳ”が判断されることになる。
【００８７】
ステップＳ４３で“ＹＥＳ”が判断されたとき、ＣＰＵ３２は、次のステップＳ４５において、フラッシュメモリ３８の該当する（位置または方向が一致した）付箋データを読み出して一旦バッファ４４３（図５）に移動（転送）する。
【００８８】
その状態で、表示器１４で確認アイコン（図示せず）を表示したり、スピーカ２４からの音声出力によって、ユーザに、その付箋データを本当に削除してもよいかどうか確認を求める。ユーザが削除容認の操作入力や音声入力を与えることによって、ステップＳ４７でＣＰＵ３２は“ＹＥＳ”を判断する。ステップＳ４７で“ＹＥＳ”が判断されれば、つまり、ユーザの削除ＯＫの最終確認が取れたとき、ステップＳ４９において、ＣＰＵ３２はバッファ４４３に転送していた該当の付箋データを消去する。
【００８９】
このように、一旦貼り付けた付箋データを剥しジェスチャに応答して剥がすことができる。つまり、仮想空間内の位置または方向が変化するように付箋装置１０を実空間内において変位させ、削除対象の付箋データが該当の位置または方向になる、そのような位置または方向に付箋装置１０がもたらされた状態で剥しジェスチャを実行するだけで、簡単に付箋データを削除することができる。
【００９０】
なお、上述の実施例では、付箋装置１０が３軸（２軸）地磁気センサ２８および３軸（２軸）加速度センサ３０を内蔵するものとして説明した。しかしながら、図１４に示すようなヘッドセット４６を用い、その中にこれらの３軸（２軸）地磁気センサ２８および３軸（２軸）加速度センサ３０を内蔵するようにしてもよい。ヘッドセット４６は、マイク４８とステレオヘッドフォン５０を備え、これらが図４のマイク２０およびスピーカ２４の代替物として利用され得る。ステレオヘッドフォン５０を音声出力手段として用いれば、音源定位可能に音声付箋データを再生することができる。
【００９１】
ヘッドセット４６に３軸（２軸）地磁気センサ２８を内蔵した場合、上述の実施例においては付箋装置１０自体を移動させることによって所望の貼り付け位置または方向を設定するようにしていたものを、ヘッドセット４６を装着したユーザ１の頭部の向きによって設定することができる。たとえば、ユーザ１は対象となっている付箋データを貼り付けたい方位に顔（頭部）を向けるだけで、貼り付けるべき仮想空間内の位置または方向を実空間内で指定することができる。頭部が向いている方位を、地磁気センサ２８の出力データを用いたＣＰＵ３２の電子コンパス機能で特定できる。
【００９２】
また、ヘッドセット４６に３軸（２軸）加速度センサ３０を内蔵した場合、上述の実施例においては付箋装置１０自体にスナップ運動をさせることによって貼付ジェスチャまたは剥しジェスチャを行なうようにしていたものを、ヘッドセット４６を装着したユーザ１の頭部の動きによって入力することができる。たとえば、ヘッドセット４６を装着した状態でユーザ1が顎を引く動作をしたとき、加速度センサ３０からの加速度データの独特の変化が生じ、ＣＰＵ３２がその独特の変化を検出することによって、貼付ジェスチャが行なわれたと判断することができる。また、たとえば、ヘッドセット４６を装着した状態でユーザ1が顎を上げる動作をしたとき、加速度センサ３０からの加速度データの別の独特の変化が生じ、ＣＰＵ３２がその別の独特の変化を検出することによって、剥しジェスチャが行なわれたと判断することができる。
【００９３】
また、実施例では、付箋装置１０自体を移動させることによって付箋データを再生するときの場所情報（位置または方向。実施例では方位。）あるいは付箋データを削除するときの場所情報（位置または方向。実施例では方位。）の入力するようにしていたが、図１３のヘッドセット４６に３軸（または２軸）地磁気センサを内蔵した場合には、当然、ヘッドセット４６を場所情報入力手段として利用することができる。
【００９４】
さらに、上述の実施例では、電子コンパスを用いた絶対方位によって、付箋を貼り付けるべき位置または方向を指定するようにした。しかしながら、付箋の位置または方向は、ユーザの正面を基準とする相対的な位置または方向であってよい。たとえば、顔の正面を０°とし、そこを基準として貼り付け位置を特定するようにしてもよい。ただし、このような相対的位置または方向を採用する場合、付箋装置１０を操作する都度、顔の正面を０°（または特定の角度）とする校正（キャリブレーション）を実行することが望ましい。さもなければ、相対的な位置または方向に毎回微差が生じ、付箋データを高密度に貼り付けようとすると、付箋データの混同を生じる可能性があるからである。
【００９５】
正面校正動作としては、一例として、付箋装置１０をユーザの顔の正面に配置した状態で付箋装置１０を上下に変位させるなどの方法が考えられる。つまり、付箋装置１０に内蔵した加速度センサ３０によってそのような上下方向の変位を検出し、その検出に応答して相対的角度を０°に校正すればよい。ただし、図１４に示すヘッドセット４６に加速度センサを内蔵した場合、ユーザ１の顔を上下に変位させることによって、同様に、正面校正を実行することかできる。
【００９６】
さらにまた、上述のいずれの実施例でも、ジェスチャ（貼付ジェスチャ、剥しジェスチャ、正面校正ジェスチャ）を付箋装置１０自体またはユーザの頭部に独特の動きを与えて、加速度センサからの加速度信号に独特の変化を生じさせ、他方で、ＣＰＵ（コンピュータ）３２でその独特の加速度変化を検出することによってジェスチャが行なわれたことを検出し、ジェスチャの種類を識別するようにした。
【００９７】
このようなジェスチャは、音声ジェスチャに代えてもよく、さらには付箋装置１０の動作またはユーザの頭部の動作と音声との組み合わせであっても構わない。
【００９８】
音声ジェスチャだけの場合、たとえば、２秒以上の発声が貼付ジェスチャであると定義し、「スー」という発音の音声が剥しジェスチャであると定義し、ＣＰＵ３２がマイク２０（４８：図１４）からの音声入力を識別するとこによって、これらのジェスチャを検出することができる。
【００９９】
また、上述の実施例における剥しジェスチャを取消（undo）ジェスチャとして利用することも可能である。したがって、たとえば貼付ジェスチャを入力して直後に剥しジェスチャを入力した場合、直後の剥しジェスチャが取消ジェスチャとして作用し、貼り付け動作を取り消すことができる。
【０１００】
実施例では、表示器１４で仮想空間を表示する際、特に背景画像を表示するかどうか言及しなかったが、図１５に示すように背景画像５２を表示し、その背景画像に重ねて図２に示す付箋オブジェクト２６および付箋アイコンオブジェクト２６ａ１，２６ａ２，２６ａ３，…を表示するようにしてもよい。ただしこの場合には、以下の点に注意する必要がある。
【０１０１】
上で説明したように、付箋データの再生や消去のためには付箋装置１０をユーザの周囲ＡＲにおいて回転（移動）させてその付箋データの仮想空間での貼り付け位置または方向を実空間の位置または方向に一致させる必要がある。付箋装置を回転（移動）させたときに、背景画像と付箋または付箋アイコンオブジェクトの位置が図１６に示すようにずれることが考えられるが、それはいかにも不自然である。本来はカメラ２２のレンズの焦点距離などのキャリブレーションを行っておくべきだが、手間がかかるだけでなく、付箋装置１０に対する様々な対応を考えると、予めキャリブレーションを行っておくのは困難である。そこで、付箋装置１０でその都度簡単に行えるキャリブレーション方法が必要である。
【０１０２】
そこで、別の実施例では、図１７（Ａ）に示すように、表示器１４に数点（実施例では２点）のマーク５４および５６を表示し、それらのマーク５４および５６が順に所定の位置になるように付箋装置１０を順にその方向に配置し、その都度タッチパネル１６（図１５）をタッチすることで、付箋装置１０において、個別にキャリブレーションを行うことができる。図１７（Ｂ）から図１７（Ｃ）へのＸ軸角度変化がｄαであり、２点間の距離をｄｘとしたとき、両者の対応関係はｄｘ＝ｋ１×ｄαとなる。したがって、ｋ1＝ｄｘ／ｄαと計算できる。仮にＹ軸についてもキャリブレーションが必要なら、２点間の距離ｄｙおよび角度変化ｄβとするとｄｙ＝ｋ２×ｄβとなり、ｋ２＝ｄｙ／ｄβと計算できる。これらの係数ｋ１およびｋ２が、付箋装置１０を移動させたとき、表示器１４において付箋オブジェクト２６および付箋アイコンオブジェクトオブジェクト２６ａを移動させる際の補正係数となる。
【０１０３】
さらに、上述の第１の実施例では、貼付ジェスチャおよび剥しジェスチャを入力するために、付箋装置１０に内蔵している３軸地磁気センサ２８および３軸加速度センサ３０を用いた。第２の実施例では、同じくヘッドセット４６（図１３）に内蔵した３軸地磁気センサおよび３軸加速度センサを用いた。つまり、貼付ジェスチャおよび剥しジェスチャを入力するために、いずれの実施例でも1つの装置に内蔵した２つのセンサを使うように説明した。しかしながら、たとえば付箋装置１０に内蔵している地磁気センサとヘッドセット４６に内蔵している加速度センサを組み合わせて用いてもよいし、付箋装置１０に内蔵している加速度センサとヘッドセット４６に内蔵している地磁気センサを組み合わせて用いてもよい。
【０１０４】
つまり、張付ジェスチャまたは剥しジェスチャのための位置または方向の指示手段として付箋装置１０に内蔵した地磁気センサおよびヘッドセットに内蔵した地磁気センサのどちらを用いてもよく、張付ジェスチャまたは剥しジェスチャのための貼付け動作または剥し動作の指示手段として付箋装置１０に内蔵した加速度センサおよびヘッドセットに内蔵した加速度センサのどちらを用いてもよい。
【０１０５】
さらには、位置または方向指示手段としては、もし付箋装置１０にＧＰＳユニットを内蔵していれば、そのＧＰＳユニットによる位置検出を利用するようにしてもよい。その場合、たとえば所定距離移動したとき、あるいは所定の交差点で付箋データを貼り付けたり剥したりすることができる。また、位置または方向指示手段としては、無線ＬＡＮの位置推定機能（たとえば、PlaceEngine：商品名）が利用可能である。
【０１０６】
そして、貼付け動作または剥し動作指示手段としては、実施例で説明した加速度センサ以外に、タッチパネル１６を利用してもよく、あるいは操作ボタン（図示せず）を利用するようにしてもよい。この場合、上で述べた位置または方向指示手段によって所要の位置または方向が指示されたときに、これらタッチパネルや操作ボタンで動作指示を入力するようにすればよい。さらに、この動作指示の入力手段としてマイクのような音声入力手段が用いられてもよい。その場合、位置または方向指示手段によってジェスチャの位置または方向を指示する前後において、あるいはそれと同時に、音声入力手段から独特の声（音声）を入力することによって、貼付動作指示または剥し動作指示を入力するようにすればよよい。
【符号の説明】
【０１０７】
１０ …マルチメディア付箋装置
１２ …ハウジング
１４ …表示器
１６ …タッチパネル
１８ …スイッチ
２０，４８ …マイク
２２ …カメラ
２４ …スピーカ
２６ …付箋
２６ａ1，２６ａ２，２６ａ３ …付箋アイコンオブジェクト
２８ …３軸地磁気センサ
３０ …３軸加速度センサ
３２ …ＣＰＵ（コンピュータ）
３４ …ＲＯＭ
３６ …ＲＡＭ
３８ …フラッシュメモリ
４２ …プログラム領域
４４ …データ記憶領域
４６ …ヘッドセット
５０ …ステレオヘッドフォン
【特許請求の範囲】
【請求項１】
音声データ、映像または画像データ、テキストデータおストロークデータの少なくとも1つを含む付箋データを記憶しておく第１記憶手段、
貼付ジェスチャが行なわれたことを検出する貼付ジェスチャ検出手段、
前記貼付ジェスチャ検出手段によって前記貼付ジェスチャを検出したことに応じて、前記第１記憶手段から読み出した付箋データを、前記貼付ジェスチャが示す実空間での位置または方向を示す場所情報とともに記憶する第２記憶手段、および
仮想空間を表示し、前記付箋データの存在を、前記第２記憶手段から読み出した前記場所情報が示す前記実空間での位置または方向に相当する仮想空間での位置または方向に表示する存在表示手段を備える、マルチメディア付箋装置。
【請求項２】
貼付ジェスチャを入力するための貼付ジェスチャ入力手段をさらに備え、
前記貼付ジェスチャ検出手段は前記貼付ジェスチャ入力手段からの入力に基づいて貼付ジェスチャが行なわれたことを検出する、請求項１記載のマルチメディア付箋装置。
【請求項３】
前記貼付ジェスチャ入力手段は、前記実空間での位置または方向を指示する貼付位置または方向指示手段および貼付動作を指示するための貼付動作指示手段を含み、
前記貼付ジェスチャ検出手段は、前記貼付位置または方向指示手段が指示する位置または方向を検出する手段および前記貼付動作指示手段が指示する貼付動作指示を検出する貼付動作指示出手段を含む、請求項２記載のマルチメディア付箋装置。
【請求項４】
剥しジェスチャが行なわれたことを検出する剥しジェスチャ検出手段、および
前記剥しジェスチャ検出手段によって前記剥しジェスチャを検出したことに応答して、前記第２記憶手段に記憶している該当の付箋データを消去する付箋データ消去手段をさらに備える、請求項１ないし３のいずれかに従属するマルチメディア付箋装置。
【請求項５】
剥しジェスチャを入力するための剥しジェスチャ入力手段をさらに備え、
前記剥しジェスチャ検出手段は前記剥しジェスチャ入力手段からの入力に基づいて剥しジェスチャが行なわれたことを検出する、請求項４記載のマルチメディア付箋装置。
【請求項６】
前記剥しジェスチャ入力手段は、前記実空間での位置または方向を指示する剥し位置または方向指示手段および剥し動作を指示するための剥し動作指示手段を含み、
前記剥しジェスチャ検出手段は、前記剥し位置または方向指示手段が指示する位置または方向を検出する手段および前記剥し動作指示手段が指示する剥し動作指示を検出する剥し動作指示検出手段を含み、
前記付箋データ消去手段は、前記剥し位置または方向指示手段が指示する位置または方向に対応する付箋データを消去する、請求項５記載のマルチメディア付箋装置。
【請求項７】
実空間における位置または方向を表す場所情報を入力する場所情報入力手段、
前記場所情報入力手段が入力した場所情報が示す位置または方向が、前記第２記憶手段に付箋データとともに記憶されている場所情報と所定関係にあるとき、前記付箋データを再生する再生手段をさらに備える、請求項１ないし６のいずれかに記載のマルチメディア付箋装置。
【請求項８】
マルチメディア付箋装置のコンピュータに、
音声データ、映像または画像データ、テキストデータおストロークデータの少なくとも1つを含む付箋データを記憶させる第１記憶手段、
貼付ジェスチャが行なわれたことを検出する貼付ジェスチャ検出手段、
前記貼付ジェスチャ検出手段によって前記貼付ジェスチャを検出したことに応じて、前記第１記憶手段から読み出した付箋データを、前記貼付ジェスチャが示す実空間での位置または方向を示す場所情報とともに記憶させる第２記憶手段、
仮想空間を表示し、前記付箋データの存在を、前記第２記憶手段から読み出した前記場所情報が示す前記実空間での位置または方向に相当する仮想空間での位置または方向に表示する存在表示手段、および
場所情報入力手段が入力した場所情報が示す位置または方向が、前記第２記憶手段によって付箋データとともに記憶されている場所情報と所定関係にあるとき、前記付箋データを再生する再生手段
として機能させる、マルチメディア付箋装置のプログラム。
【請求項１】
音声データ、映像または画像データ、テキストデータおストロークデータの少なくとも1つを含む付箋データを記憶しておく第１記憶手段、
貼付ジェスチャが行なわれたことを検出する貼付ジェスチャ検出手段、
前記貼付ジェスチャ検出手段によって前記貼付ジェスチャを検出したことに応じて、前記第１記憶手段から読み出した付箋データを、前記貼付ジェスチャが示す実空間での位置または方向を示す場所情報とともに記憶する第２記憶手段、および
仮想空間を表示し、前記付箋データの存在を、前記第２記憶手段から読み出した前記場所情報が示す前記実空間での位置または方向に相当する仮想空間での位置または方向に表示する存在表示手段を備える、マルチメディア付箋装置。
【請求項２】
貼付ジェスチャを入力するための貼付ジェスチャ入力手段をさらに備え、
前記貼付ジェスチャ検出手段は前記貼付ジェスチャ入力手段からの入力に基づいて貼付ジェスチャが行なわれたことを検出する、請求項１記載のマルチメディア付箋装置。
【請求項３】
前記貼付ジェスチャ入力手段は、前記実空間での位置または方向を指示する貼付位置または方向指示手段および貼付動作を指示するための貼付動作指示手段を含み、
前記貼付ジェスチャ検出手段は、前記貼付位置または方向指示手段が指示する位置または方向を検出する手段および前記貼付動作指示手段が指示する貼付動作指示を検出する貼付動作指示出手段を含む、請求項２記載のマルチメディア付箋装置。
【請求項４】
剥しジェスチャが行なわれたことを検出する剥しジェスチャ検出手段、および
前記剥しジェスチャ検出手段によって前記剥しジェスチャを検出したことに応答して、前記第２記憶手段に記憶している該当の付箋データを消去する付箋データ消去手段をさらに備える、請求項１ないし３のいずれかに従属するマルチメディア付箋装置。
【請求項５】
剥しジェスチャを入力するための剥しジェスチャ入力手段をさらに備え、
前記剥しジェスチャ検出手段は前記剥しジェスチャ入力手段からの入力に基づいて剥しジェスチャが行なわれたことを検出する、請求項４記載のマルチメディア付箋装置。
【請求項６】
前記剥しジェスチャ入力手段は、前記実空間での位置または方向を指示する剥し位置または方向指示手段および剥し動作を指示するための剥し動作指示手段を含み、
前記剥しジェスチャ検出手段は、前記剥し位置または方向指示手段が指示する位置または方向を検出する手段および前記剥し動作指示手段が指示する剥し動作指示を検出する剥し動作指示検出手段を含み、
前記付箋データ消去手段は、前記剥し位置または方向指示手段が指示する位置または方向に対応する付箋データを消去する、請求項５記載のマルチメディア付箋装置。
【請求項７】
実空間における位置または方向を表す場所情報を入力する場所情報入力手段、
前記場所情報入力手段が入力した場所情報が示す位置または方向が、前記第２記憶手段に付箋データとともに記憶されている場所情報と所定関係にあるとき、前記付箋データを再生する再生手段をさらに備える、請求項１ないし６のいずれかに記載のマルチメディア付箋装置。
【請求項８】
マルチメディア付箋装置のコンピュータに、
音声データ、映像または画像データ、テキストデータおストロークデータの少なくとも1つを含む付箋データを記憶させる第１記憶手段、
貼付ジェスチャが行なわれたことを検出する貼付ジェスチャ検出手段、
前記貼付ジェスチャ検出手段によって前記貼付ジェスチャを検出したことに応じて、前記第１記憶手段から読み出した付箋データを、前記貼付ジェスチャが示す実空間での位置または方向を示す場所情報とともに記憶させる第２記憶手段、
仮想空間を表示し、前記付箋データの存在を、前記第２記憶手段から読み出した前記場所情報が示す前記実空間での位置または方向に相当する仮想空間での位置または方向に表示する存在表示手段、および
場所情報入力手段が入力した場所情報が示す位置または方向が、前記第２記憶手段によって付箋データとともに記憶されている場所情報と所定関係にあるとき、前記付箋データを再生する再生手段
として機能させる、マルチメディア付箋装置のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−９５９０２（Ｐ２０１１−９５９０２Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４７７４２（Ｐ２００９−２４７７４２）
【出願日】平成２１年１０月２８日（２００９．１０．２８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）２００８年度未踏ＩＴ人材発掘・育成事業「頭部／視線方向を用いた音声メモの配置／ブラウジングによるウェアラブル思考空間支援」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０９２９９３９６）
【出願人】（５０９２９９４００）
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２８日（２００９．１０．２８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）２００８年度未踏ＩＴ人材発掘・育成事業「頭部／視線方向を用いた音声メモの配置／ブラウジングによるウェアラブル思考空間支援」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０９２９９３９６）
【出願人】（５０９２９９４００）
【Ｆターム（参考）】
[ Back to top ]