メディア項目のクラスタリングとクエリとを行う方法
本発明は、データ処理用端末装置におけるメディア項目の管理に関する。さらに詳細には、本発明は、移動端末装置において階層的多次元クラスタで編成されたメディア項目の配列、閲覧およびクエリを行うための方法と、装置と、コンピュータプログラム製品とを対象とするものである。多次元によるクラスタリングによってメディア項目を配列し、一方の次元に対して第１のエントリを定義することにより上記メディア項目のクエリを行い、次のエントリは上記第１のエントリを満たすメディア項目から得られる他方の次元に基づくものとなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理用端末装置におけるメディア項目の管理に関する。さらに詳細には、本発明は、移動端末装置において階層的多次元クラスタの形で編成されたメディア項目の配列、閲覧およびクエリを行う方法、装置およびコンピュータプログラム製品を対象とするものである。
【背景技術】
【０００２】
画像を含むデジタルメディアの量が大量になるにつれて、メディアコレクションを管理するソフトウェアアプリケーションが広く採用されるようになっている。現状技術のプログラムでは、メタデータや、管理対象メディア項目に関する情報を利用して、メディアコレクションの類別に役立てている。従来技術は、関連する表示機能およびその他のユーザインタフェース機能を備えたパーソナルコンピュータで通常機能する解決方法に注力している。しかし、移動通信と計算技術との発達によって、さらに多くの制約を受けるユーザインタフェース機能を有する個人用移動通信装置の中にも同様のメディアコレクションを設けることが可能になった。
【０００３】
例えば、パーソナルコンピュータに格納されたメディアコレクションを管理するために開発されたＡｄｏｂｅＡｌｂｕｍ＆Ｃｏｍｍａｔなどのソフトウェアアプリケーションが存在する。従来技術による技法の１例が、アドビ・システムズ（Ａｄｏｂｅ Ｓｙｓｔｅｍｓ）による国際出願公報ＷＯ０２／０５７９５９Ａ２“デジタルメディア管理装置および方法”に記載されている。この公報は、デジタル画像などのオブジェクトの管理と、発見と、表示とを行う方法および装置を提示するものである。これらのオブジェクトは記述型テキストデータおよび数値データ（“メタデータ”）と関連づけられ、リレーショナルデータベースに格納され、このリレーショナルデータベースからこれらのデータの選択、ソートおよび発見を行うことが可能となる。上記オブジェクトのメタデータが探索基準に一致するレベルに応じて上記オブジェクトの探索および表示を行うことが可能である。異なる一致グループにあるオブジェクトは、異なるバックグラウンドカラーやパターンを前面に表示するなどの視覚的手がかりによって表示領域で互いに識別することが可能である。
【０００４】
メディアオブジェクトの管理方法の１例が、マイクロソフト社による公報ＵＳ２００３／０００９４６９Ａ１“データベースにおけるメディアオブジェクトの管理”に記載されている。この公報は、メディアオブジェクトの文脈情報を利用してデータベース内のメディアオブジェクトと既知のメディアオブジェクト、カテゴリ、インデックスおよび探索を編成し、データベース内のメディアオブジェクトのカタログ作成のための推論に到達する方法および装置を提示するものである。ラベル付けされていないデータグループを形成することによりメディアオブジェクトのクラスタリングを行い、前記グループに対して距離メトリックを適用する方法および装置が提供されている。メディアオブジェクトは、互いに時間的に近い時点に撮影された画像のクラスタリングによって自動的に編成されて、種々のコレクションに変えられる。ユーザインタフェースはコレクション毎に１つの画像を含むものであってもよく、その場合この画像はユーザに示される。ユーザが画像の探索を行う場合、ユーザはそれぞれ画像のコレクションを表す画像を閲覧し、所望の画像に関係するように思われるコレクションを選択する。一旦コレクションが選択されると、コレクションに対応する画像がユーザに示される。
【０００５】
上述の方法がパーソナルコンピュータに良好に適合することは理解できるが、移動環境の中へ移された場合、これらの方法にはユーザービリティおよび操作上の問題がある。現行の方法は、相当のサイズの表示部を表示するユーザの能力に依存するため、並びに、マウスのようなポイント＆クリック方式によってメディア項目、カテゴリなどを選択するため、すべての移動端末装置のカテゴリにおいて実行可能というわけではない。しかし、エンドユーザが個人用移動端末装置の中に対応する機能性を設けることは非常に望ましいことであり、それによって、ユーザは、パーソナルコンピュータにアクセスできないときでさえ自分のメディアコレクションにアクセスすることが可能となる。
【０００６】
移動端末装置では、メディアクエリに関する問題は、ローカルな格納装置（メモリカードや同様のもの）におけるフォルダベースのアプローチによって通常解決されるが、それでもこのアプローチには、デスクトップ環境におけるフォルダベースのアプローチと同じ制限があることに変わりはない。従来技術による方法では、移動端末装置におけるメディアクエリに関する問題は、移動ネット接続を介する遠隔地のメディアコレクションへのアクセスによって解決され、その場合、ユーザインタフェースの論理回路（カテゴリの利用、キーワードなど）はサーバ側で操作される。このアプローチには、非常に高度のメタデータ補助によるクエリ機能を組み入れることができるという利点があり、サーバ側で適切な論理回路の設置が実現される。しかし、上記アプローチはネットワーク接続が何らかの理由で利用可能でなければ、有望ではない。
【０００７】
上述の理由のために、多量のメディア項目を管理する新たな方法の開発が必要である。この方法は、狭い表示装置の中で使用するときでも適度に簡単であり、さらに、限定された選択メカニズムに対してのみ実際的なアクセスを行えることが望ましい。本発明はクライアント側のアプローチであり、その実施構成は移動通信装置の中に構成することが可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、移動端末装置においてメディア項目を管理するための方法および装置並びにコンピュータプログラム製品を提示するものである。特に本発明は、移動端末装置における階層的多次元クラスタで編成されたメディア項目の配列、閲覧およびクエリに焦点を合わせるものであり、ユーザインタフェースの制約を解決して、メタデータ補助によるメディアクエリを移動端末装置で行うことができるようにするものである。本発明は多次元クラスタリングを行い、前記クラスタからメディア項目のクエリを行い、クラスタ階層の深さを自動的に選択する方法を提示するものである。本発明はまた、クラスタと共に利用するクエリメカニズムを備えたユーザインタフェースも提供するものである。
【課題を解決するための手段】
【０００９】
本発明によれば、メディア項目には記述情報と次元とが与えられる。その場合、１つの記述情報を共有するメディア項目はまとめてクラスタされる。上記記述情報はメディア項目ファイルへユーザが手動で挿入したり、自動的に挿入したりすることができるメタデータとして構成される。適切な記述情報の１例として場所と時刻とがあり、その場合、クラスタには或る一定の時点に或る一定の場所で取得されたメディア項目が含まれる。
【００１０】
メディア項目のコレクションを具備するクラスタがユーザに示される。本発明に準拠するユーザインタフェースは、１つのクラスタがユーザインタフェースの中で個々の項目間の単一項目として示されるように構成される。ユーザがこのクラスタを選択すると、別のビューが開かれ、当該クラスタの項目がユーザに示される。
【００１１】
上記クラスタリングの利点として、ユーザに示されるメディア項目のリスト（その場合すべての項目が１つのリストに示される）が従来技術による解決方法の場合よりも短くなり、これによって移動端末装置の表示機能の制限が軽減されるという点が挙げられる。
【００１２】
上記クラスタリングは、上記記述情報に対応して同じビューと論理的にリンクされたメディア項目の収集にも役立つことになる。このクラスタリングはユーザがクラスタの内容を素早く見るのに十分な情報も提供する。クラスタを命名することによって、メディアコレクションに対するクラスタとメディア項目との編成が容易になる。
【００１３】
本発明に準拠するメディアマネージャは、移動端末装置で実行する際、いつでも、どこでも利用することが可能である。専用ユーザインタフェースによって、移動端末装置の表示機能の制限が考慮され、これらの制限が少なくなる。上記メディアマネージャによって、エンドユーザは、限定された“ポイント＆クリック”のみを用いて複雑なクエリを構成することが可能となり、これによってユーザの以前のクエリ行動に基づくメディアクエリの自動的適合化を行うさらなるチャンスが生み出され、それによって、後続するクエリ形式化状況でのエンドユーザのクエリ形式化の努力が軽減されることになる。
【００１４】
本発明の好ましい実施形態が図面と、以下の詳細な説明と、添付の請求項とに記載されている。上記説明の中で本発明のさらなる目的と利点とについて考察する。本発明自体は請求項の形で詳細に画定される。
【発明を実施するための最良の形態】
【００１５】
本発明は、データマイニング法とクラスタリング法とを応用して、移動端末装置のエンドユーザを自動的に補助し、少ない努力によって複雑なメディアクエリを生成するためのものである。個人用メディア管理ソフトウェア機能と、端末装置における利用可能なユーザインタフェース技術の厳しい制限とを備えた移動端末装置について考えるとき、本発明は非常に望ましく、かつ、好適なものである。実際に、本発明によって、深い多次元メタデータ階層を含む、複雑な類別方式を利用することによって移動通信装置におけるメディアコレクションの所望部分の選択を行うことが可能となる。本発明による方法は非常に簡略なフローチャートとして図４に提示されている。本発明による方法は様々なタイプのメディア項目に関して利用することが可能であるが、以下の例では画像を使用する。
【００１６】
メディア項目グループの形成
時間／空間座標系で画像のクラスタリングによって画像をグループに分けることが可能である。しかし、時間／空間座標系を同時に考慮する多次元クラスタリングの適用は混同を生じる結果となる場合がある。本発明によれば、階段的クラスタリングが適用され、その場合画像は日付によって、および、場所によってクラスタされ、最終グループの中へ入れられる。この解決方法によって、ユーザはグループ化の背後にある論理をより良く理解し、複雑さを回避することが可能となる。
【００１７】
以下は上記方法の利用を示す１例である。変更例は状況によって変えることが可能であり、これらの変更例が本発明を限定するものと考えるべきではない。
【００１８】
撮影時に、画像には、画像の記述情報を含むメタデータが与えられる。次いで、他の画像またはクラスタの探索が行われる。この探索によって、現在の画像が撮影された場所からＸメートル未満離れた地点でかつ同じ日に撮影された画像またはクラスタに焦点が当てられたり、項目の別の記述情報を比較することによって上記探索を行ったりすることが可能となる。当該種類の画像やクラスタが発見されると、前の画像と新たな画像とを含むクラスタが形成される。
【００１９】
利用可能な正確な所在位置情報が存在しなければ、同じセル内の同じ日に撮影された画像クラスタを形成することによってセルＩＤデータのみを用いることによりクラスタを形成してもよい。ユーザが、（ランドマーク管理アプリケーションなどを用いて）１つのグループのセルＩＤが１つの命名済みの場所（夏の別荘など）に対応する旨を特定した場合、特定されたセルグループで同じ日の間に撮影されたすべての画像はクラスタを形成することができる。その他の利用可能な場所関連情報の例として、ロケーションエリアコード（ＧＳＭ）、国別コード（ＧＳＭ）およびサービス対象エリア識別子（ＷＣＤＭＡ）がある。
【００２０】
比較的タイトなクラスタの内部に一時的に存在するけれども、該クラスタに属していない画像も上記クラスタに追加することが可能である。この状況例は、ある人が夏の別荘で建築プロジェクトに取り組んでいて、そこで数枚の写真を撮影する例である。その日の日中に彼は食料雑貨品を買うために近くの店までドライブすることに決める。その店で彼はおかしな綴りの署名の写真を撮影する。その店で撮影した写真を夏の別荘クラスタに追加することができる。というのは、この写真は、その日の夏の別荘の写真に強く関係するからである。図１はこの状況を視覚化したものである。文字Ａ１−Ａ６で印を付けた点は撮影した画像を示し、点Ａ１−Ａ６の間の曲線Ｂはユーザの所在位置を示し、点線による矩形はクラスタ領域Ｃを画定するものである。
【００２１】
クラスタの内部に一時的に存在するけれども、そのクラスタに属するものではない写真は単にクラスタに追加される。例えば、数枚の写真が午前中に家で撮影され、数枚の写真が日中仕事中に撮影され、さらにその後、夜に家でさらに写真が撮影された状況では、家で撮影された写真がクラスタを形成することは言うまでもないが、仕事中に撮影された写真はクラスタに追加しないことが望ましい。クラスタの内部で一時的に撮影された写真は、ユーザがそのクラスタ領域から離れていた時間が長すぎなければそのクラスタに追加することが可能である。写真を撮影した場所とクラスタの重心との間の距離も長くなりすぎないように注意することが望ましい。
【００２２】
クラスタに写真を追加できるかどうかを定義する１つの可能な方法として、写真が以下の条件を満たすかどうかをチェックする方法がある：
１．写真はクラスタの内部に一時的に存在するものでなければならない。
【数１】
(但し、ｄｉｓｔ（ｔ）は時刻ｔにおけるユーザとクラスタの中心との間の距離である。）ｔ１はユーザがクラスタ領域Ｃを出た時刻であり、ｔ２はユーザがクラスタ領域Ｃに再び入った時刻である（図１を参照のこと）。“ｎ”は或る一定の適合可能な限界値を意味する。）
【００２３】
ユーザの所在位置は例えばＧＰＳ装置などのいくつかの方法で追跡することが可能である。ＧＰＳ装置は本発明の装置へ組み込むことができる。所在位置データは画像の撮影時点に取得したり、定期的に取得したりすることが可能である。所在位置データが利用できない場合には、セルＩＤなどを用いて所在位置を追跡することが可能である。ＧＰＳの代わりに、各種ＧＰＳシステム（Ａ−ＧＰＳ、Ｄ−ＧＰＳ）、到来角（ＡＯＡ）、改善された観察済みの時間差（Ｅ−ＯＴＤ）、到来時間差（Ｔ−ＤＯＡ）、到来時刻（ＴＯＡ）などの何らかの別の測位システムを用いて所在位置の自動追跡を行うことが可能である。あるいはユーザは位置座標を手動で定めることが可能である。手動で定められた座標は所在位置データベースに格納される。このデータベースには、場所（“夏の別荘”）に関する情報およびこれらの場所に対応する座標が含まれる。端末装置の所在位置と追跡とはずっと行うことが望ましい。写真撮影毎にしか行われない場合、追跡位置の数が少なすぎて、計算を行うのに十分ではなくなる。
【００２４】
メディア項目のメタデータ内での位置と時刻の代わりに、別の記述情報を設けることも可能である。１つの適切な例として、第１の記述情報が“趣味”である状況がある。そして別の記述情報として、釣り、スキー、ゴルフなどおよび／または時間がある。次いで、例えば２００３年１月の釣りの画像などのエントリに従ってクエリを行うことができる。第１の記述情報のさらに別の例として“人々”があり、その場合さらに別の記述情報は妻、仕事仲間、子供などであってもよい。これらの例を理解することによって、上記記述情報がほとんどすべてのことに関係する情報となり得ることが明らかになる。
【００２５】
クラスタの命名
クラスタを特定するために、クラスタには或る情報を与える名称を持つラベルがつけられる。ラベリングはクラスタ記述情報を用いて自動的に行うことができるし、あるいは手動で行うことができる。１つのプラクティスとして、クラスタ内の画像の撮影場所、撮影時刻、および、クラスタの中に何枚の画像があるかに関する情報を利用するラベルの構成を行うプラクティスがある。座標情報が利用できない場合、ロケーションエリアコードのようなより高いレベルのネットワーク情報を利用することによってセルＩＤの変化の数を追跡することにより近接度を決定することが可能である。端末装置の移動できる速度に対して或る一定の上限を想定することにより、時間情報を用いて近接度の決定を行うことが可能となる。短時間の周期内で撮影された画像は相対的に互いに近接して撮影されたものとなる。
【００２６】
座標ベースの所在位置が利用可能で、ユーザが半径情報を用いて（座標位置と命名された）ランドマークを作成した場合、クラスタの命名時にクラスタを形成する際、この半径情報の利用が可能となる。ランドマーク半径内の画像は同じ場所で撮影されたものと見なされる。たとえ画像がいずれのランドマークの内部で撮影されたものでなかったとしても、例えば“夏の別荘の近くで”などのランドマーク名はそのまま使用可能である。この場合“夏の別荘”がランドマーク名である。クラスタを命名するとき、クラスタ名は少なくとも部分的にリモートサーバや、場所を表す理解可能な名称（クラスタ座標／セルＩＤ／ロケーションエリアコードなどに基づく）をユーザに与えることができる端末装置のデータベースからクエリを受けた名称に基づくものであってもよい。クラスタ名は（フィンランド、ヘルシンキ、ルオホラハティ（Ruoholahti）などの）２以上の場所を含むものであってもよい。
【００２７】
例えば画像のほとんどがフィンランドで撮影され、ユーザがスペインで数枚の画像を撮影した場合、他の詳細な所在位置情報の代わりに国名（スペイン）を表示することが望ましい。一方、画像の撮影場所がわからない場合には、例えば、グループ（１）、グループ（２）などによってクラスタにラベルをつけることも可能である。
【００２８】
同じ命名原則を個々の画像に適用することも可能である。命名を行うことによって、メディアコレクションに対するクラスタおよび画像の編成が容易になる。様々な種類の記述情報を利用することによって、異なるユーザが自分に最も適した方法で画像情報を見ることが可能となる。
【００２９】
ユーザインタフェース
前述したように、互いに密接に関連する（ほぼ同じ場所で同じ日に撮影されたような）画像を束ねてクラスタの中へ入れることが望ましい。本発明によれば、ユーザインタフェースで個々のメディア項目間の単一項目としてこのクラスタを示すことが望ましい。言い替えれば、ユーザインタフェースは個々のメディア項目とクラスタとによって形成されるアレイを示すものである。例えば、１乃至いくつかのクラスタを含むリスト図などのビューが、いずれのクラスタにも属さない個々の画像を含むようにすることも可能である。個々の画像の中から画像の視覚的に異なる外観によって上記クラスタを簡単に識別することが可能である。例えば、クラスタのラベルのそばに表示する対象クラスタの１以上の画像を選択し、それによってクラスタの視覚的表示を行うことにより外観を形成することが可能である。一例として、選択画像を第１に撮影した画像とすることも可能である。というのは、その場合、新たな画像が撮影されてクラスタに追加されたときでさえそのクラスタの外観は変らないからである。
【００３０】
一例として、図２は、移動端末装置の表示部におけるメディア項目の階層を例示する図である。本例ではメインメニューは“画像”と命名され、クラスタのアレイとメディア項目とを１つのビュー１に同時に表示する。２００３年５月２２日に夏の別荘で撮影した４つの画像を表示する代わりに、４つの画像のうちの１つの画像だけをクラスタとして表示する。このクラスタはクラスタ内でメディア項目によって共有される記述情報に因んで命名される。本例では、その名称は上記４つの画像が撮影された場所である。日付（２２／０５／２００３）および画像の最終番号（４画像）などのクラスタの別の情報をクラスタのヘッダに示すこともできる。クラスタを選択し、開くことによってクラスタの内部に画像を含む次のビュー２が表示される。
【００３１】
時折、クラスタはイベントを表わすことができる。新たに命名された場合クラスタはイベントになる。“夏の別荘”が“夏の別荘での凧揚げ”と新たに命名された場合、クラスタは現実の意味を得ることになり、したがって、イベントと見なされることになる。場合によってはイベント情報は、例えばカレンダ情報などを利用することによって自動的に取得することも可能である。
【００３２】
メディア項目またはクラスタの数を適度に小さく保つには、大きなクラスタの方が望ましい。この目的のために、クラスタリングパラメータを適宜選択したり、存在するメディア項目の量に基づいてこのパラメータを適合させたりすることができる。大きなクラスタを形成する場合、サブクラスタにアクセスする手段を設けることが肝要である。段階的にクラスタリングプロセスを適用することによりこれは達成可能となる。さらに、エンドユーザがさらなるチェックのために当該クラスタを選択する前に、例えば視覚などの手がかりによって、最も適用可能なサブクラスタリングオプションをエンドユーザへ予め通信しておくことができる。
【００３３】
段階的クラスタリングによってクラスタリングは２つの部分に分けられる。クラスタリングの第１段階で、クラスタは時刻と場所との組み合わせであることが望ましい。そしてこれらの組み合わせのリストが時間に基づいて編成される。クラスタリングの第２段階で、サブクラスタを形成することができる。サブクラスタは、例えば（ホワイトバランス設定をベースとする“屋内”や“屋外”などの）メディア項目の属性の（命名されたブルートゥース装置ＩＤなどに基づく）人々の物理的存在や、明示的なメタデータキーワード／カテゴリ／メディア項目に割り当てられたタグや、メディア項目の視覚的類似性などに基づくものであってもよい。
【００３４】
クラスタリング法の１例を示す。下記の表に示される時と場所とについての記述情報が存在する。時間情報の階層が表Ａに示され、場所情報の階層が表Ｂに示されている。
【表１】
【００３５】
画像のクエリ時に、ユーザは２０００年２月などの時間情報を最初に選択する。この後、場所情報を選択することができる。本発明によれば、選択リストに示される唯一の場所は２０００年２月という基準を満たす場所である。言い換えれば、ユーザが２０００年２月に写真を撮影した場所のみを含むリストが示されることになる。クラスタ内での情報の量がクエリ時の情報（クエリ時の月およびクラスタ内での週や日など）とは異なる場合、画像とクラスタの双方がリストに示される。
【００３６】
大きなメディアコレクションを管理するとき、第１段階のクラスタリングは例えば最近の週や月だけなどの“最近のメディア項目”に対してはまずまず良好に機能する。しかし、エンドユーザが最近のメディア項目に焦点を合わせない場合、第１段階のクラスタリングはアルファベット順（場所階層が利用可能な場合には階層順）に並べられた場所に基づくようにしてもよい。そして第１段階のクラスタリングアプローチはサブクラスタ用として利用される。
【００３７】
次に、クラスタに対して複雑なメディアクエリを生成する方法について説明する。この方法はデータマイニング法で適用することができる。以下の方法は、１）コレクションを分割して好適なサイズと数のサブスペース（クラスタ）にする類別方式で記述情報を特定する方法、並びに、２）ユーザ行動のオンライン解析を行って、別のクエリ時に適用できるクエリ形式化時にパターンを自動的に特定する方法である。メディア項目の上述の編成について考えるとき、この編成の背後にあるツリー様の構造は参照し易い構造となっている。以下の方法はクエリ時にツリー様の構造を利用するものである。
【００３８】
以下の方式は、例えば、ユーザがフィンランドで数百枚の画像を撮影し、様々な都市で数十枚の画像を撮影した状況で適用することができる。数枚の画像がストックホルムとタリンで撮影される。ユーザが場所情報を選択すると、利用可能な項目としてヘルシンキ、タンペレ、ユベスキュラ、スエーデンおよびエストニアあるいは“その他”が現れるようにすることができる。最も使用頻度が高いものなどの追加基準も同様に利用可能である。
【００３９】
類別方式の次元の範囲内での階層の深さの自動選択／補助選択
本方式は主として、メディア項目空間を分割して適切な数のクラスタに変える階層類別ツリーにおいてこのようなノードの計算をベースとする方式である。本方式では、エンドユーザがルートノードから開始するか、リストの形のすべてのリーフノードにアクセスするか選択する方式と比べるとナビゲーションのステップ数を減らすことが可能となる。
【００４０】
まず、リストから写真を得るためにｉ回クリックしなければならないことに対してユーザが感じる苛立ちを表す関数ｖ（ｉ）が定義される。例えば、ｖ（ｉ）をｖ（ｉ）＝ｉとしてもよいし、あるいはｖ（ｉ）はｖ（ｉ）＝ｐｏｗ（ｉ，１．５）としてもよい。
次に、ツリーＴに対して、Ｖ（Ｔ）が、Ｖ（Ｔ）＝ｓｕｍ（ｖ（ｌｅｎ（ｎ））＊ｉｔｅｍｓ（ｎ）：Ｔにおけるｎ）として定義される。
但し、ｌｅｎ（ｎ）はツリーＴにおけるノードＮの深さである。
同様に、ツリーのリストについては：
Ｖ（Ｔ1，．．．，Ｔm）＝Ｖ（Ｔ1）＋．．．＋Ｖ（Ｔm））
但し、Ｖはユーザの苛立ちを示し、Ｔ1，．．．，Ｔmはツリーである。
【００４１】
上記ツリーのリスト（クラスタ）がユーザに提示される。当然のことであるが、オプションの数が或る妥当な数Ｎ（４〜８など）となるように求められる。
【００４２】
ツリーの共用部分にショートカットを設けることによってユーザの苛立ちＶを減らすことが可能となる。この苛立ちの減少は、最初のツリーＴ（このツリーＴは単一のルートを有するものと想定することができる）をＮ個のサブツリーＴ1，．．．，ＴNに分割することによって行われる。言い換えればツリーＴ1，．．．，ＴNはツリーＴのサブツリーである。これによってツリー内のすべての項目が分割されることになる。その時、Ｖ（Ｔ1，．．．，ＴN）は最低限のものとなる。サブツリーＴ1，．．．，ＴNは共通ノードを有していないものと想定されている。
【００４３】
本発明に準拠するアルゴリズムでは、個々のノードに対して新たなツリーのルート用ノードを選択する利点が算出される。この算出はｍ個のサブツリーを定義することによって行われる。ルートとしてノードの選択を行う利点がサブツリーＴ1，．．．，Ｔm内の個々のノードｎについて計算される：
関数＝ｓｕｍ（ｖ（ｌｅｎ（ｋ）＋Ｉ）＊ｉｔｅｍｓ（ｋ））−ｓｕｍ（ｖ（ｌｅｎ（ｋ）＊ｉｔｅｍｓ（ｋ）））
但し“ｋ”は“Ｔi”の中にあり、“ｎ”は“Ｔi”の中にあり、Ｔiにおいて“ｌｅｎ（ｎ）＝ｉ”である。
【００４４】
この関数に対して（ツリーＴiにおけるノードｎなどに対して）、最大値が選択され、その後、Ｔiは分割されて２つの部分、すなわち、ｎ以下（ｎを含む）のＴi並びに前記部分を含まないＴiに変えられる。この種の最適化（Ｔの分割）に起因して、ｎ以上およびｎ以下のノード値のみが再計算に必要となる。
【００４５】
上記計算は、エンドユーザによる最も予想される選択を優先させるために、解析済みのエンドユーザの過去のクエリ形式化に応じて修正される。メディア項目は、これらメディア項目がメディア項目クエリのターゲットになる可能性の高い既知のものであるか、学習対象とすべきものであるかに基づいて重み付けが行われる。例えば、高い重み付け（＞１）を示すものとして、それまで閲覧頻度が高かったり、共有されていたり、トランザクションと関連づけられていたりするメディア項目がある。そして、低い重み付け（＜１）を示すものとして、もはや使用されていないメディア項目や、現在の文脈に関連のないメディア項目がある。
【００４６】
多次元類別方式の範囲内での次元の自動／補助選択
この方式は主として、適用する類別方式の異なる次元に対してメディア項目をどのように配分するかを解析する処理に基づく方式である。この方式を用いて、メディア項目空間を最も効果的に分けて適切なサブ空間に変える次元を特定することが可能となる。望ましい実施構成として、配分の解析を行う前にすべての次元で上述の方法を利用する方式がある。最善の次元であることを判断する基準として、例えば、１）どのように均等にメディア項目を分けて計算済みのサブツリーに変えるか、あるいは、２）メディア項目に到達するのに必要なナビゲーションステップの平均回数を何回にするかという基準を設けることが可能である。
【００４７】
上記計算は、クエリ情報における個人的な好みを勘案するために解析された過去のエンドユーザのクエリ形式化に応じて修正される（一人の人にとって、まず一人の人を、次いで、場所を、それからある別の人を探索することは直感的な探索であり、この逆の探索を行うこともまた同様に直感的探索である）。
【００４８】
また、上記ケースでは、メディア項目がメディア項目クエリのターゲットになる可能性の高い既知のものであるか、学習対象にすべきものであるかどうかに基づいてメディア項目の重み付けを行うことが可能である。例えば、高い重み付け（＞１）を示すものとして、それまで閲覧頻度が高かったり、共有されていたり、トランザクションと関連づけられていたりするメディア項目がある。そして、低い重み付け（＜１）を示すものとして、もはや使用されていないメディア項目や、現在の文脈に関連のないメディア項目がある。様々なクエリが異なる文脈で以前どのように適用されたかについて行われる解析に基づいて上記方式の修正を行うことが可能である。
【００４９】
上述の方式を利用するとき、１つの次元の範囲内でエンドユーザがリストを上下にスクロールしてカテゴリを閲覧し、左／右のボタンを動かして次元間の切り替えを行い（選択は行わない）、所望の次元の範囲内で選択を行って（ボタンを押下して）、ドリルを行い、サブカテゴリに変えて、クエリの一部になるように現在のカテゴリを選択する（ソフトキー）。上記を可能にするためには、装置は階層の多次元類別方式を利用し、最低限６個のキーからなるナビゲーション手段または（５方向ボタン、１つのソフトキーなどの）同様の手段を設けて、クエリ形式化の“Ｘ”の側面と“Ｙ”の側面双方の基本原則を明らかにすることが望ましい（Ｘは自動的選択方法／補助された次元、すなわち“場所”／“人”／“イベント”／の選択方法を表し、Ｙは深さの自動的選択方法／階層上の次元すなわち“フィンランド”／“ヘルシンキ”／“センタ”／の範囲内で補助される深さの選択方法を表す）。
【００５０】
実施構成
図３は本発明に準拠する電子装置ＭＳの１例を示す図である。電子装置ＭＳ内のデータ処理ユニットＣＰＵの一部として本発明に準拠するメディア項目マネージャＭＭを実装することができる。メディアマネージャＭＭはいわゆるメディアアルバムサーバのサーバ側の範囲内にあるものであってもよく、さらに、ネットワークを介して電子装置ＭＳによって着信するものであってもよい。しかし、例えばプライバシ上の理由などのために、個人用装置で利用可能な全メタデータを格納する方が役に立つ場合が時としてあり、その際にはメディア項目マネージャＭＭのクライアント側実施構成の方が望ましいものとなる。電子装置が何らかの別アプリケーションＡＰＰも同様に備えることが可能であることは言うまでもない。
【００５１】
電子装置ＭＳはメモリＭＥＭの中にメディアコレクションを格納するものである。メディアコレクションは或る周知のデータ転送接続を介して取得される。しかし、前記電子装置ＭＳと接続されたり、前記電子装置ＭＳ内に組み込まれたりして取り付けられたデジタルカメラが存在することが望ましい。その場合前記カメラを用いて撮影された画像はメモリＭＥＭの中へ直接格納される。メディアコレクションはユーザインタフェースＵＩを介してクエリを受け、閲覧される。電子装置ＭＳは移動通信機能および写真機能を備えた端末装置（カメラ付き電話など）であることが望ましい。
【００５２】
上述の詳細な説明は専ら理解を明瞭にするために行われたものであり、必ずしもそこから本願の請求項の中へ限定を読み込む必要はない。
【図面の簡単な説明】
【００５３】
【図１】クラスタ領域並びに変化するユーザの所在位置を視覚化する。
【図２】移動端末装置の表示部におけるメディア項目の階層例を示す。
【図３】本発明に基づく電子装置の１例を示す。
【図４】簡略なフローチャートとして本発明による方法を示す。
【技術分野】
【０００１】
本発明はデータ処理用端末装置におけるメディア項目の管理に関する。さらに詳細には、本発明は、移動端末装置において階層的多次元クラスタの形で編成されたメディア項目の配列、閲覧およびクエリを行う方法、装置およびコンピュータプログラム製品を対象とするものである。
【背景技術】
【０００２】
画像を含むデジタルメディアの量が大量になるにつれて、メディアコレクションを管理するソフトウェアアプリケーションが広く採用されるようになっている。現状技術のプログラムでは、メタデータや、管理対象メディア項目に関する情報を利用して、メディアコレクションの類別に役立てている。従来技術は、関連する表示機能およびその他のユーザインタフェース機能を備えたパーソナルコンピュータで通常機能する解決方法に注力している。しかし、移動通信と計算技術との発達によって、さらに多くの制約を受けるユーザインタフェース機能を有する個人用移動通信装置の中にも同様のメディアコレクションを設けることが可能になった。
【０００３】
例えば、パーソナルコンピュータに格納されたメディアコレクションを管理するために開発されたＡｄｏｂｅＡｌｂｕｍ＆Ｃｏｍｍａｔなどのソフトウェアアプリケーションが存在する。従来技術による技法の１例が、アドビ・システムズ（Ａｄｏｂｅ Ｓｙｓｔｅｍｓ）による国際出願公報ＷＯ０２／０５７９５９Ａ２“デジタルメディア管理装置および方法”に記載されている。この公報は、デジタル画像などのオブジェクトの管理と、発見と、表示とを行う方法および装置を提示するものである。これらのオブジェクトは記述型テキストデータおよび数値データ（“メタデータ”）と関連づけられ、リレーショナルデータベースに格納され、このリレーショナルデータベースからこれらのデータの選択、ソートおよび発見を行うことが可能となる。上記オブジェクトのメタデータが探索基準に一致するレベルに応じて上記オブジェクトの探索および表示を行うことが可能である。異なる一致グループにあるオブジェクトは、異なるバックグラウンドカラーやパターンを前面に表示するなどの視覚的手がかりによって表示領域で互いに識別することが可能である。
【０００４】
メディアオブジェクトの管理方法の１例が、マイクロソフト社による公報ＵＳ２００３／０００９４６９Ａ１“データベースにおけるメディアオブジェクトの管理”に記載されている。この公報は、メディアオブジェクトの文脈情報を利用してデータベース内のメディアオブジェクトと既知のメディアオブジェクト、カテゴリ、インデックスおよび探索を編成し、データベース内のメディアオブジェクトのカタログ作成のための推論に到達する方法および装置を提示するものである。ラベル付けされていないデータグループを形成することによりメディアオブジェクトのクラスタリングを行い、前記グループに対して距離メトリックを適用する方法および装置が提供されている。メディアオブジェクトは、互いに時間的に近い時点に撮影された画像のクラスタリングによって自動的に編成されて、種々のコレクションに変えられる。ユーザインタフェースはコレクション毎に１つの画像を含むものであってもよく、その場合この画像はユーザに示される。ユーザが画像の探索を行う場合、ユーザはそれぞれ画像のコレクションを表す画像を閲覧し、所望の画像に関係するように思われるコレクションを選択する。一旦コレクションが選択されると、コレクションに対応する画像がユーザに示される。
【０００５】
上述の方法がパーソナルコンピュータに良好に適合することは理解できるが、移動環境の中へ移された場合、これらの方法にはユーザービリティおよび操作上の問題がある。現行の方法は、相当のサイズの表示部を表示するユーザの能力に依存するため、並びに、マウスのようなポイント＆クリック方式によってメディア項目、カテゴリなどを選択するため、すべての移動端末装置のカテゴリにおいて実行可能というわけではない。しかし、エンドユーザが個人用移動端末装置の中に対応する機能性を設けることは非常に望ましいことであり、それによって、ユーザは、パーソナルコンピュータにアクセスできないときでさえ自分のメディアコレクションにアクセスすることが可能となる。
【０００６】
移動端末装置では、メディアクエリに関する問題は、ローカルな格納装置（メモリカードや同様のもの）におけるフォルダベースのアプローチによって通常解決されるが、それでもこのアプローチには、デスクトップ環境におけるフォルダベースのアプローチと同じ制限があることに変わりはない。従来技術による方法では、移動端末装置におけるメディアクエリに関する問題は、移動ネット接続を介する遠隔地のメディアコレクションへのアクセスによって解決され、その場合、ユーザインタフェースの論理回路（カテゴリの利用、キーワードなど）はサーバ側で操作される。このアプローチには、非常に高度のメタデータ補助によるクエリ機能を組み入れることができるという利点があり、サーバ側で適切な論理回路の設置が実現される。しかし、上記アプローチはネットワーク接続が何らかの理由で利用可能でなければ、有望ではない。
【０００７】
上述の理由のために、多量のメディア項目を管理する新たな方法の開発が必要である。この方法は、狭い表示装置の中で使用するときでも適度に簡単であり、さらに、限定された選択メカニズムに対してのみ実際的なアクセスを行えることが望ましい。本発明はクライアント側のアプローチであり、その実施構成は移動通信装置の中に構成することが可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、移動端末装置においてメディア項目を管理するための方法および装置並びにコンピュータプログラム製品を提示するものである。特に本発明は、移動端末装置における階層的多次元クラスタで編成されたメディア項目の配列、閲覧およびクエリに焦点を合わせるものであり、ユーザインタフェースの制約を解決して、メタデータ補助によるメディアクエリを移動端末装置で行うことができるようにするものである。本発明は多次元クラスタリングを行い、前記クラスタからメディア項目のクエリを行い、クラスタ階層の深さを自動的に選択する方法を提示するものである。本発明はまた、クラスタと共に利用するクエリメカニズムを備えたユーザインタフェースも提供するものである。
【課題を解決するための手段】
【０００９】
本発明によれば、メディア項目には記述情報と次元とが与えられる。その場合、１つの記述情報を共有するメディア項目はまとめてクラスタされる。上記記述情報はメディア項目ファイルへユーザが手動で挿入したり、自動的に挿入したりすることができるメタデータとして構成される。適切な記述情報の１例として場所と時刻とがあり、その場合、クラスタには或る一定の時点に或る一定の場所で取得されたメディア項目が含まれる。
【００１０】
メディア項目のコレクションを具備するクラスタがユーザに示される。本発明に準拠するユーザインタフェースは、１つのクラスタがユーザインタフェースの中で個々の項目間の単一項目として示されるように構成される。ユーザがこのクラスタを選択すると、別のビューが開かれ、当該クラスタの項目がユーザに示される。
【００１１】
上記クラスタリングの利点として、ユーザに示されるメディア項目のリスト（その場合すべての項目が１つのリストに示される）が従来技術による解決方法の場合よりも短くなり、これによって移動端末装置の表示機能の制限が軽減されるという点が挙げられる。
【００１２】
上記クラスタリングは、上記記述情報に対応して同じビューと論理的にリンクされたメディア項目の収集にも役立つことになる。このクラスタリングはユーザがクラスタの内容を素早く見るのに十分な情報も提供する。クラスタを命名することによって、メディアコレクションに対するクラスタとメディア項目との編成が容易になる。
【００１３】
本発明に準拠するメディアマネージャは、移動端末装置で実行する際、いつでも、どこでも利用することが可能である。専用ユーザインタフェースによって、移動端末装置の表示機能の制限が考慮され、これらの制限が少なくなる。上記メディアマネージャによって、エンドユーザは、限定された“ポイント＆クリック”のみを用いて複雑なクエリを構成することが可能となり、これによってユーザの以前のクエリ行動に基づくメディアクエリの自動的適合化を行うさらなるチャンスが生み出され、それによって、後続するクエリ形式化状況でのエンドユーザのクエリ形式化の努力が軽減されることになる。
【００１４】
本発明の好ましい実施形態が図面と、以下の詳細な説明と、添付の請求項とに記載されている。上記説明の中で本発明のさらなる目的と利点とについて考察する。本発明自体は請求項の形で詳細に画定される。
【発明を実施するための最良の形態】
【００１５】
本発明は、データマイニング法とクラスタリング法とを応用して、移動端末装置のエンドユーザを自動的に補助し、少ない努力によって複雑なメディアクエリを生成するためのものである。個人用メディア管理ソフトウェア機能と、端末装置における利用可能なユーザインタフェース技術の厳しい制限とを備えた移動端末装置について考えるとき、本発明は非常に望ましく、かつ、好適なものである。実際に、本発明によって、深い多次元メタデータ階層を含む、複雑な類別方式を利用することによって移動通信装置におけるメディアコレクションの所望部分の選択を行うことが可能となる。本発明による方法は非常に簡略なフローチャートとして図４に提示されている。本発明による方法は様々なタイプのメディア項目に関して利用することが可能であるが、以下の例では画像を使用する。
【００１６】
メディア項目グループの形成
時間／空間座標系で画像のクラスタリングによって画像をグループに分けることが可能である。しかし、時間／空間座標系を同時に考慮する多次元クラスタリングの適用は混同を生じる結果となる場合がある。本発明によれば、階段的クラスタリングが適用され、その場合画像は日付によって、および、場所によってクラスタされ、最終グループの中へ入れられる。この解決方法によって、ユーザはグループ化の背後にある論理をより良く理解し、複雑さを回避することが可能となる。
【００１７】
以下は上記方法の利用を示す１例である。変更例は状況によって変えることが可能であり、これらの変更例が本発明を限定するものと考えるべきではない。
【００１８】
撮影時に、画像には、画像の記述情報を含むメタデータが与えられる。次いで、他の画像またはクラスタの探索が行われる。この探索によって、現在の画像が撮影された場所からＸメートル未満離れた地点でかつ同じ日に撮影された画像またはクラスタに焦点が当てられたり、項目の別の記述情報を比較することによって上記探索を行ったりすることが可能となる。当該種類の画像やクラスタが発見されると、前の画像と新たな画像とを含むクラスタが形成される。
【００１９】
利用可能な正確な所在位置情報が存在しなければ、同じセル内の同じ日に撮影された画像クラスタを形成することによってセルＩＤデータのみを用いることによりクラスタを形成してもよい。ユーザが、（ランドマーク管理アプリケーションなどを用いて）１つのグループのセルＩＤが１つの命名済みの場所（夏の別荘など）に対応する旨を特定した場合、特定されたセルグループで同じ日の間に撮影されたすべての画像はクラスタを形成することができる。その他の利用可能な場所関連情報の例として、ロケーションエリアコード（ＧＳＭ）、国別コード（ＧＳＭ）およびサービス対象エリア識別子（ＷＣＤＭＡ）がある。
【００２０】
比較的タイトなクラスタの内部に一時的に存在するけれども、該クラスタに属していない画像も上記クラスタに追加することが可能である。この状況例は、ある人が夏の別荘で建築プロジェクトに取り組んでいて、そこで数枚の写真を撮影する例である。その日の日中に彼は食料雑貨品を買うために近くの店までドライブすることに決める。その店で彼はおかしな綴りの署名の写真を撮影する。その店で撮影した写真を夏の別荘クラスタに追加することができる。というのは、この写真は、その日の夏の別荘の写真に強く関係するからである。図１はこの状況を視覚化したものである。文字Ａ１−Ａ６で印を付けた点は撮影した画像を示し、点Ａ１−Ａ６の間の曲線Ｂはユーザの所在位置を示し、点線による矩形はクラスタ領域Ｃを画定するものである。
【００２１】
クラスタの内部に一時的に存在するけれども、そのクラスタに属するものではない写真は単にクラスタに追加される。例えば、数枚の写真が午前中に家で撮影され、数枚の写真が日中仕事中に撮影され、さらにその後、夜に家でさらに写真が撮影された状況では、家で撮影された写真がクラスタを形成することは言うまでもないが、仕事中に撮影された写真はクラスタに追加しないことが望ましい。クラスタの内部で一時的に撮影された写真は、ユーザがそのクラスタ領域から離れていた時間が長すぎなければそのクラスタに追加することが可能である。写真を撮影した場所とクラスタの重心との間の距離も長くなりすぎないように注意することが望ましい。
【００２２】
クラスタに写真を追加できるかどうかを定義する１つの可能な方法として、写真が以下の条件を満たすかどうかをチェックする方法がある：
１．写真はクラスタの内部に一時的に存在するものでなければならない。
【数１】
(但し、ｄｉｓｔ（ｔ）は時刻ｔにおけるユーザとクラスタの中心との間の距離である。）ｔ１はユーザがクラスタ領域Ｃを出た時刻であり、ｔ２はユーザがクラスタ領域Ｃに再び入った時刻である（図１を参照のこと）。“ｎ”は或る一定の適合可能な限界値を意味する。）
【００２３】
ユーザの所在位置は例えばＧＰＳ装置などのいくつかの方法で追跡することが可能である。ＧＰＳ装置は本発明の装置へ組み込むことができる。所在位置データは画像の撮影時点に取得したり、定期的に取得したりすることが可能である。所在位置データが利用できない場合には、セルＩＤなどを用いて所在位置を追跡することが可能である。ＧＰＳの代わりに、各種ＧＰＳシステム（Ａ−ＧＰＳ、Ｄ−ＧＰＳ）、到来角（ＡＯＡ）、改善された観察済みの時間差（Ｅ−ＯＴＤ）、到来時間差（Ｔ−ＤＯＡ）、到来時刻（ＴＯＡ）などの何らかの別の測位システムを用いて所在位置の自動追跡を行うことが可能である。あるいはユーザは位置座標を手動で定めることが可能である。手動で定められた座標は所在位置データベースに格納される。このデータベースには、場所（“夏の別荘”）に関する情報およびこれらの場所に対応する座標が含まれる。端末装置の所在位置と追跡とはずっと行うことが望ましい。写真撮影毎にしか行われない場合、追跡位置の数が少なすぎて、計算を行うのに十分ではなくなる。
【００２４】
メディア項目のメタデータ内での位置と時刻の代わりに、別の記述情報を設けることも可能である。１つの適切な例として、第１の記述情報が“趣味”である状況がある。そして別の記述情報として、釣り、スキー、ゴルフなどおよび／または時間がある。次いで、例えば２００３年１月の釣りの画像などのエントリに従ってクエリを行うことができる。第１の記述情報のさらに別の例として“人々”があり、その場合さらに別の記述情報は妻、仕事仲間、子供などであってもよい。これらの例を理解することによって、上記記述情報がほとんどすべてのことに関係する情報となり得ることが明らかになる。
【００２５】
クラスタの命名
クラスタを特定するために、クラスタには或る情報を与える名称を持つラベルがつけられる。ラベリングはクラスタ記述情報を用いて自動的に行うことができるし、あるいは手動で行うことができる。１つのプラクティスとして、クラスタ内の画像の撮影場所、撮影時刻、および、クラスタの中に何枚の画像があるかに関する情報を利用するラベルの構成を行うプラクティスがある。座標情報が利用できない場合、ロケーションエリアコードのようなより高いレベルのネットワーク情報を利用することによってセルＩＤの変化の数を追跡することにより近接度を決定することが可能である。端末装置の移動できる速度に対して或る一定の上限を想定することにより、時間情報を用いて近接度の決定を行うことが可能となる。短時間の周期内で撮影された画像は相対的に互いに近接して撮影されたものとなる。
【００２６】
座標ベースの所在位置が利用可能で、ユーザが半径情報を用いて（座標位置と命名された）ランドマークを作成した場合、クラスタの命名時にクラスタを形成する際、この半径情報の利用が可能となる。ランドマーク半径内の画像は同じ場所で撮影されたものと見なされる。たとえ画像がいずれのランドマークの内部で撮影されたものでなかったとしても、例えば“夏の別荘の近くで”などのランドマーク名はそのまま使用可能である。この場合“夏の別荘”がランドマーク名である。クラスタを命名するとき、クラスタ名は少なくとも部分的にリモートサーバや、場所を表す理解可能な名称（クラスタ座標／セルＩＤ／ロケーションエリアコードなどに基づく）をユーザに与えることができる端末装置のデータベースからクエリを受けた名称に基づくものであってもよい。クラスタ名は（フィンランド、ヘルシンキ、ルオホラハティ（Ruoholahti）などの）２以上の場所を含むものであってもよい。
【００２７】
例えば画像のほとんどがフィンランドで撮影され、ユーザがスペインで数枚の画像を撮影した場合、他の詳細な所在位置情報の代わりに国名（スペイン）を表示することが望ましい。一方、画像の撮影場所がわからない場合には、例えば、グループ（１）、グループ（２）などによってクラスタにラベルをつけることも可能である。
【００２８】
同じ命名原則を個々の画像に適用することも可能である。命名を行うことによって、メディアコレクションに対するクラスタおよび画像の編成が容易になる。様々な種類の記述情報を利用することによって、異なるユーザが自分に最も適した方法で画像情報を見ることが可能となる。
【００２９】
ユーザインタフェース
前述したように、互いに密接に関連する（ほぼ同じ場所で同じ日に撮影されたような）画像を束ねてクラスタの中へ入れることが望ましい。本発明によれば、ユーザインタフェースで個々のメディア項目間の単一項目としてこのクラスタを示すことが望ましい。言い替えれば、ユーザインタフェースは個々のメディア項目とクラスタとによって形成されるアレイを示すものである。例えば、１乃至いくつかのクラスタを含むリスト図などのビューが、いずれのクラスタにも属さない個々の画像を含むようにすることも可能である。個々の画像の中から画像の視覚的に異なる外観によって上記クラスタを簡単に識別することが可能である。例えば、クラスタのラベルのそばに表示する対象クラスタの１以上の画像を選択し、それによってクラスタの視覚的表示を行うことにより外観を形成することが可能である。一例として、選択画像を第１に撮影した画像とすることも可能である。というのは、その場合、新たな画像が撮影されてクラスタに追加されたときでさえそのクラスタの外観は変らないからである。
【００３０】
一例として、図２は、移動端末装置の表示部におけるメディア項目の階層を例示する図である。本例ではメインメニューは“画像”と命名され、クラスタのアレイとメディア項目とを１つのビュー１に同時に表示する。２００３年５月２２日に夏の別荘で撮影した４つの画像を表示する代わりに、４つの画像のうちの１つの画像だけをクラスタとして表示する。このクラスタはクラスタ内でメディア項目によって共有される記述情報に因んで命名される。本例では、その名称は上記４つの画像が撮影された場所である。日付（２２／０５／２００３）および画像の最終番号（４画像）などのクラスタの別の情報をクラスタのヘッダに示すこともできる。クラスタを選択し、開くことによってクラスタの内部に画像を含む次のビュー２が表示される。
【００３１】
時折、クラスタはイベントを表わすことができる。新たに命名された場合クラスタはイベントになる。“夏の別荘”が“夏の別荘での凧揚げ”と新たに命名された場合、クラスタは現実の意味を得ることになり、したがって、イベントと見なされることになる。場合によってはイベント情報は、例えばカレンダ情報などを利用することによって自動的に取得することも可能である。
【００３２】
メディア項目またはクラスタの数を適度に小さく保つには、大きなクラスタの方が望ましい。この目的のために、クラスタリングパラメータを適宜選択したり、存在するメディア項目の量に基づいてこのパラメータを適合させたりすることができる。大きなクラスタを形成する場合、サブクラスタにアクセスする手段を設けることが肝要である。段階的にクラスタリングプロセスを適用することによりこれは達成可能となる。さらに、エンドユーザがさらなるチェックのために当該クラスタを選択する前に、例えば視覚などの手がかりによって、最も適用可能なサブクラスタリングオプションをエンドユーザへ予め通信しておくことができる。
【００３３】
段階的クラスタリングによってクラスタリングは２つの部分に分けられる。クラスタリングの第１段階で、クラスタは時刻と場所との組み合わせであることが望ましい。そしてこれらの組み合わせのリストが時間に基づいて編成される。クラスタリングの第２段階で、サブクラスタを形成することができる。サブクラスタは、例えば（ホワイトバランス設定をベースとする“屋内”や“屋外”などの）メディア項目の属性の（命名されたブルートゥース装置ＩＤなどに基づく）人々の物理的存在や、明示的なメタデータキーワード／カテゴリ／メディア項目に割り当てられたタグや、メディア項目の視覚的類似性などに基づくものであってもよい。
【００３４】
クラスタリング法の１例を示す。下記の表に示される時と場所とについての記述情報が存在する。時間情報の階層が表Ａに示され、場所情報の階層が表Ｂに示されている。
【表１】
【００３５】
画像のクエリ時に、ユーザは２０００年２月などの時間情報を最初に選択する。この後、場所情報を選択することができる。本発明によれば、選択リストに示される唯一の場所は２０００年２月という基準を満たす場所である。言い換えれば、ユーザが２０００年２月に写真を撮影した場所のみを含むリストが示されることになる。クラスタ内での情報の量がクエリ時の情報（クエリ時の月およびクラスタ内での週や日など）とは異なる場合、画像とクラスタの双方がリストに示される。
【００３６】
大きなメディアコレクションを管理するとき、第１段階のクラスタリングは例えば最近の週や月だけなどの“最近のメディア項目”に対してはまずまず良好に機能する。しかし、エンドユーザが最近のメディア項目に焦点を合わせない場合、第１段階のクラスタリングはアルファベット順（場所階層が利用可能な場合には階層順）に並べられた場所に基づくようにしてもよい。そして第１段階のクラスタリングアプローチはサブクラスタ用として利用される。
【００３７】
次に、クラスタに対して複雑なメディアクエリを生成する方法について説明する。この方法はデータマイニング法で適用することができる。以下の方法は、１）コレクションを分割して好適なサイズと数のサブスペース（クラスタ）にする類別方式で記述情報を特定する方法、並びに、２）ユーザ行動のオンライン解析を行って、別のクエリ時に適用できるクエリ形式化時にパターンを自動的に特定する方法である。メディア項目の上述の編成について考えるとき、この編成の背後にあるツリー様の構造は参照し易い構造となっている。以下の方法はクエリ時にツリー様の構造を利用するものである。
【００３８】
以下の方式は、例えば、ユーザがフィンランドで数百枚の画像を撮影し、様々な都市で数十枚の画像を撮影した状況で適用することができる。数枚の画像がストックホルムとタリンで撮影される。ユーザが場所情報を選択すると、利用可能な項目としてヘルシンキ、タンペレ、ユベスキュラ、スエーデンおよびエストニアあるいは“その他”が現れるようにすることができる。最も使用頻度が高いものなどの追加基準も同様に利用可能である。
【００３９】
類別方式の次元の範囲内での階層の深さの自動選択／補助選択
本方式は主として、メディア項目空間を分割して適切な数のクラスタに変える階層類別ツリーにおいてこのようなノードの計算をベースとする方式である。本方式では、エンドユーザがルートノードから開始するか、リストの形のすべてのリーフノードにアクセスするか選択する方式と比べるとナビゲーションのステップ数を減らすことが可能となる。
【００４０】
まず、リストから写真を得るためにｉ回クリックしなければならないことに対してユーザが感じる苛立ちを表す関数ｖ（ｉ）が定義される。例えば、ｖ（ｉ）をｖ（ｉ）＝ｉとしてもよいし、あるいはｖ（ｉ）はｖ（ｉ）＝ｐｏｗ（ｉ，１．５）としてもよい。
次に、ツリーＴに対して、Ｖ（Ｔ）が、Ｖ（Ｔ）＝ｓｕｍ（ｖ（ｌｅｎ（ｎ））＊ｉｔｅｍｓ（ｎ）：Ｔにおけるｎ）として定義される。
但し、ｌｅｎ（ｎ）はツリーＴにおけるノードＮの深さである。
同様に、ツリーのリストについては：
Ｖ（Ｔ1，．．．，Ｔm）＝Ｖ（Ｔ1）＋．．．＋Ｖ（Ｔm））
但し、Ｖはユーザの苛立ちを示し、Ｔ1，．．．，Ｔmはツリーである。
【００４１】
上記ツリーのリスト（クラスタ）がユーザに提示される。当然のことであるが、オプションの数が或る妥当な数Ｎ（４〜８など）となるように求められる。
【００４２】
ツリーの共用部分にショートカットを設けることによってユーザの苛立ちＶを減らすことが可能となる。この苛立ちの減少は、最初のツリーＴ（このツリーＴは単一のルートを有するものと想定することができる）をＮ個のサブツリーＴ1，．．．，ＴNに分割することによって行われる。言い換えればツリーＴ1，．．．，ＴNはツリーＴのサブツリーである。これによってツリー内のすべての項目が分割されることになる。その時、Ｖ（Ｔ1，．．．，ＴN）は最低限のものとなる。サブツリーＴ1，．．．，ＴNは共通ノードを有していないものと想定されている。
【００４３】
本発明に準拠するアルゴリズムでは、個々のノードに対して新たなツリーのルート用ノードを選択する利点が算出される。この算出はｍ個のサブツリーを定義することによって行われる。ルートとしてノードの選択を行う利点がサブツリーＴ1，．．．，Ｔm内の個々のノードｎについて計算される：
関数＝ｓｕｍ（ｖ（ｌｅｎ（ｋ）＋Ｉ）＊ｉｔｅｍｓ（ｋ））−ｓｕｍ（ｖ（ｌｅｎ（ｋ）＊ｉｔｅｍｓ（ｋ）））
但し“ｋ”は“Ｔi”の中にあり、“ｎ”は“Ｔi”の中にあり、Ｔiにおいて“ｌｅｎ（ｎ）＝ｉ”である。
【００４４】
この関数に対して（ツリーＴiにおけるノードｎなどに対して）、最大値が選択され、その後、Ｔiは分割されて２つの部分、すなわち、ｎ以下（ｎを含む）のＴi並びに前記部分を含まないＴiに変えられる。この種の最適化（Ｔの分割）に起因して、ｎ以上およびｎ以下のノード値のみが再計算に必要となる。
【００４５】
上記計算は、エンドユーザによる最も予想される選択を優先させるために、解析済みのエンドユーザの過去のクエリ形式化に応じて修正される。メディア項目は、これらメディア項目がメディア項目クエリのターゲットになる可能性の高い既知のものであるか、学習対象とすべきものであるかに基づいて重み付けが行われる。例えば、高い重み付け（＞１）を示すものとして、それまで閲覧頻度が高かったり、共有されていたり、トランザクションと関連づけられていたりするメディア項目がある。そして、低い重み付け（＜１）を示すものとして、もはや使用されていないメディア項目や、現在の文脈に関連のないメディア項目がある。
【００４６】
多次元類別方式の範囲内での次元の自動／補助選択
この方式は主として、適用する類別方式の異なる次元に対してメディア項目をどのように配分するかを解析する処理に基づく方式である。この方式を用いて、メディア項目空間を最も効果的に分けて適切なサブ空間に変える次元を特定することが可能となる。望ましい実施構成として、配分の解析を行う前にすべての次元で上述の方法を利用する方式がある。最善の次元であることを判断する基準として、例えば、１）どのように均等にメディア項目を分けて計算済みのサブツリーに変えるか、あるいは、２）メディア項目に到達するのに必要なナビゲーションステップの平均回数を何回にするかという基準を設けることが可能である。
【００４７】
上記計算は、クエリ情報における個人的な好みを勘案するために解析された過去のエンドユーザのクエリ形式化に応じて修正される（一人の人にとって、まず一人の人を、次いで、場所を、それからある別の人を探索することは直感的な探索であり、この逆の探索を行うこともまた同様に直感的探索である）。
【００４８】
また、上記ケースでは、メディア項目がメディア項目クエリのターゲットになる可能性の高い既知のものであるか、学習対象にすべきものであるかどうかに基づいてメディア項目の重み付けを行うことが可能である。例えば、高い重み付け（＞１）を示すものとして、それまで閲覧頻度が高かったり、共有されていたり、トランザクションと関連づけられていたりするメディア項目がある。そして、低い重み付け（＜１）を示すものとして、もはや使用されていないメディア項目や、現在の文脈に関連のないメディア項目がある。様々なクエリが異なる文脈で以前どのように適用されたかについて行われる解析に基づいて上記方式の修正を行うことが可能である。
【００４９】
上述の方式を利用するとき、１つの次元の範囲内でエンドユーザがリストを上下にスクロールしてカテゴリを閲覧し、左／右のボタンを動かして次元間の切り替えを行い（選択は行わない）、所望の次元の範囲内で選択を行って（ボタンを押下して）、ドリルを行い、サブカテゴリに変えて、クエリの一部になるように現在のカテゴリを選択する（ソフトキー）。上記を可能にするためには、装置は階層の多次元類別方式を利用し、最低限６個のキーからなるナビゲーション手段または（５方向ボタン、１つのソフトキーなどの）同様の手段を設けて、クエリ形式化の“Ｘ”の側面と“Ｙ”の側面双方の基本原則を明らかにすることが望ましい（Ｘは自動的選択方法／補助された次元、すなわち“場所”／“人”／“イベント”／の選択方法を表し、Ｙは深さの自動的選択方法／階層上の次元すなわち“フィンランド”／“ヘルシンキ”／“センタ”／の範囲内で補助される深さの選択方法を表す）。
【００５０】
実施構成
図３は本発明に準拠する電子装置ＭＳの１例を示す図である。電子装置ＭＳ内のデータ処理ユニットＣＰＵの一部として本発明に準拠するメディア項目マネージャＭＭを実装することができる。メディアマネージャＭＭはいわゆるメディアアルバムサーバのサーバ側の範囲内にあるものであってもよく、さらに、ネットワークを介して電子装置ＭＳによって着信するものであってもよい。しかし、例えばプライバシ上の理由などのために、個人用装置で利用可能な全メタデータを格納する方が役に立つ場合が時としてあり、その際にはメディア項目マネージャＭＭのクライアント側実施構成の方が望ましいものとなる。電子装置が何らかの別アプリケーションＡＰＰも同様に備えることが可能であることは言うまでもない。
【００５１】
電子装置ＭＳはメモリＭＥＭの中にメディアコレクションを格納するものである。メディアコレクションは或る周知のデータ転送接続を介して取得される。しかし、前記電子装置ＭＳと接続されたり、前記電子装置ＭＳ内に組み込まれたりして取り付けられたデジタルカメラが存在することが望ましい。その場合前記カメラを用いて撮影された画像はメモリＭＥＭの中へ直接格納される。メディアコレクションはユーザインタフェースＵＩを介してクエリを受け、閲覧される。電子装置ＭＳは移動通信機能および写真機能を備えた端末装置（カメラ付き電話など）であることが望ましい。
【００５２】
上述の詳細な説明は専ら理解を明瞭にするために行われたものであり、必ずしもそこから本願の請求項の中へ限定を読み込む必要はない。
【図面の簡単な説明】
【００５３】
【図１】クラスタ領域並びに変化するユーザの所在位置を視覚化する。
【図２】移動端末装置の表示部におけるメディア項目の階層例を示す。
【図３】本発明に基づく電子装置の１例を示す。
【図４】簡略なフローチャートとして本発明による方法を示す。
【特許請求の範囲】
【請求項１】
メディア項目を管理する方法であって、少なくとも２つの記述情報を含むメタデータを個々のメディア項目に与え、少なくとも１つの記述情報を共有する前記個々のメディア項目をまとめてクラスタし、メディア項目を含む前記クラスタを前記個々のメディア項目と同様に管理する方法。
【請求項２】
前記個々のメディア項目をクラスタすべきかどうかを判定するために、前記個々のメディア項目を別の個々のメディア項目やクラスタと比較する請求項１に記載の方法。
【請求項３】
前記記述情報に従って前記クラスタを命名する請求項１に記載の方法。
【請求項４】
前記個々のメディア項目間で前記クラスタを表示するが、該個々のメディア項目を視覚的に区別する請求項１に記載の方法。
【請求項５】
前記メディア項目とクラスタとの管理が、少なくとも前記メディア項目の配列と、クエリと、閲覧とを行うステップを具備する請求項１に記載の方法。
【請求項６】
前記メディア項目のクエリを行うステップが、一方の記述情報用の第１のエントリを定義するステップを具備し、次の項目が、前記第１のエントリを満たすメディア項目の他方の記述情報に基づく請求項５に記載の方法。
【請求項７】
前記メディア項目を閲覧するステップがメディア項目とクラスタとからなるアレイを示すステップを具備し、前記クラスタの選択後、該クラスタの内部の前記メディア項目を閲覧する請求項５に記載の方法。
【請求項８】
クライアント側の方法である請求項１に記載の方法。
【請求項９】
前記１つの記述情報が前記端末装置の所在場所である請求項１に記載の方法。
【請求項１０】
別の記述情報が前記メディア項目を取得した時刻である請求項１に記載の方法。
【請求項１１】
前記クラスタが命名され、手動で更新され、対応する格納システムに対して上記名称が更新される請求項３に記載の方法。
【請求項１２】
前記メディア項目が前記クラスタ内でさらにサブクラスタ化される請求項１に記載の方法。
【請求項１３】
前記メディア項目のクエリを行うステップが前記ユーザの以前のクエリ行動に基づいて自動的に適合される請求項６に記載の方法。
【請求項１４】
測位システムから所在位置情報を取得するか、ユーザが手動で該所在位置情報を定める請求項９に記載の方法。
【請求項１５】
前記メディア項目が画像である請求項１に記載の方法。
【請求項１６】
メディア項目を管理する装置であり、少なくとも２つの記述情報を有するメタデータを個々のメディア項目に与える定義装置を具備する装置であって、少なくとも一方の記述情報を共有する個々のメディア項目をまとめてクラスタするグループ分け装置（grouper）をさらに具備する装置において、メディア項目を含む前記クラスタを前記個々のメディア項目と同様に管理するように構成される装置。
【請求項１７】
前記装置が、前記個々のメディア項目を、他の個々のメディア項目と比較したり、前記個々のメディア項目をクラスタすべきかどうかを調べるクラスタと比較したりする比較装置をさらに具備する請求項１６に記載の装置。
【請求項１８】
前記記述情報に従って前記クラスタを命名する手段をさらに具備する請求項１６に記載の装置。
【請求項１９】
数個のメディア項目と数個のクラスタとを互いの間で管理し、互いから分離可能に管理するように構成される請求項１６に記載の装置。
【請求項２０】
前記装置が、前記メディア項目用の１以上の以下の手段、すなわち配列手段、クエリ手段並びに閲覧手段も具備する請求項１６に記載の装置。
【請求項２１】
前記クエリ手段が、一方の記述情報用の第１のエントリに従ってメディア項目のクエリを行い、前記第１のエントリを満たす上記メディア項目の他方の記述情報の次の項目に従って前記メディア項目のクエリをさらに行うように構成される請求項２０に記載の装置。
【請求項２２】
前記閲覧手段が、前記メディア項目を個々に示すように構成されるか、アレイとしてクラスタされる請求項２０に記載の装置。
【請求項２３】
前記閲覧手段が、クラスタのメディア項目を個々に示すように構成されるか、別個のアレイとしてクラスタされる請求項２２に記載の装置。
【請求項２４】
前記アレイがユーザインタフェースの１つのビューである請求項２３に記載の装置。
【請求項２５】
前記装置を測位する手段も具備する請求項１６に記載の装置。
【請求項２６】
移動通信用手段も具備する請求項１６に記載の装置。
【請求項２７】
写真撮影手段も具備する請求項１６に記載の電子装置。
【請求項２８】
メディア項目を管理するコンピュータプログラム製品であって、コンピュータ可読プログラムを格納する記憶手段を具備するコンピュータプログラム製品において、前記コンピュータ可読プログラムが、少なくとも２つの記述情報を有するメタデータと共に前記個々のメディア項目を出力する命令を具備し、前記コンピュータ可読プログラムが、少なくとも一方の記述情報を共有する個々のメディア項目をまとめてクラスタする命令を具備し、メディア項目を含む前記クラスタが前記個々のメディア項目と同様に管理可能であるコンピュータプログラム製品。
【請求項１】
メディア項目を管理する方法であって、少なくとも２つの記述情報を含むメタデータを個々のメディア項目に与え、少なくとも１つの記述情報を共有する前記個々のメディア項目をまとめてクラスタし、メディア項目を含む前記クラスタを前記個々のメディア項目と同様に管理する方法。
【請求項２】
前記個々のメディア項目をクラスタすべきかどうかを判定するために、前記個々のメディア項目を別の個々のメディア項目やクラスタと比較する請求項１に記載の方法。
【請求項３】
前記記述情報に従って前記クラスタを命名する請求項１に記載の方法。
【請求項４】
前記個々のメディア項目間で前記クラスタを表示するが、該個々のメディア項目を視覚的に区別する請求項１に記載の方法。
【請求項５】
前記メディア項目とクラスタとの管理が、少なくとも前記メディア項目の配列と、クエリと、閲覧とを行うステップを具備する請求項１に記載の方法。
【請求項６】
前記メディア項目のクエリを行うステップが、一方の記述情報用の第１のエントリを定義するステップを具備し、次の項目が、前記第１のエントリを満たすメディア項目の他方の記述情報に基づく請求項５に記載の方法。
【請求項７】
前記メディア項目を閲覧するステップがメディア項目とクラスタとからなるアレイを示すステップを具備し、前記クラスタの選択後、該クラスタの内部の前記メディア項目を閲覧する請求項５に記載の方法。
【請求項８】
クライアント側の方法である請求項１に記載の方法。
【請求項９】
前記１つの記述情報が前記端末装置の所在場所である請求項１に記載の方法。
【請求項１０】
別の記述情報が前記メディア項目を取得した時刻である請求項１に記載の方法。
【請求項１１】
前記クラスタが命名され、手動で更新され、対応する格納システムに対して上記名称が更新される請求項３に記載の方法。
【請求項１２】
前記メディア項目が前記クラスタ内でさらにサブクラスタ化される請求項１に記載の方法。
【請求項１３】
前記メディア項目のクエリを行うステップが前記ユーザの以前のクエリ行動に基づいて自動的に適合される請求項６に記載の方法。
【請求項１４】
測位システムから所在位置情報を取得するか、ユーザが手動で該所在位置情報を定める請求項９に記載の方法。
【請求項１５】
前記メディア項目が画像である請求項１に記載の方法。
【請求項１６】
メディア項目を管理する装置であり、少なくとも２つの記述情報を有するメタデータを個々のメディア項目に与える定義装置を具備する装置であって、少なくとも一方の記述情報を共有する個々のメディア項目をまとめてクラスタするグループ分け装置（grouper）をさらに具備する装置において、メディア項目を含む前記クラスタを前記個々のメディア項目と同様に管理するように構成される装置。
【請求項１７】
前記装置が、前記個々のメディア項目を、他の個々のメディア項目と比較したり、前記個々のメディア項目をクラスタすべきかどうかを調べるクラスタと比較したりする比較装置をさらに具備する請求項１６に記載の装置。
【請求項１８】
前記記述情報に従って前記クラスタを命名する手段をさらに具備する請求項１６に記載の装置。
【請求項１９】
数個のメディア項目と数個のクラスタとを互いの間で管理し、互いから分離可能に管理するように構成される請求項１６に記載の装置。
【請求項２０】
前記装置が、前記メディア項目用の１以上の以下の手段、すなわち配列手段、クエリ手段並びに閲覧手段も具備する請求項１６に記載の装置。
【請求項２１】
前記クエリ手段が、一方の記述情報用の第１のエントリに従ってメディア項目のクエリを行い、前記第１のエントリを満たす上記メディア項目の他方の記述情報の次の項目に従って前記メディア項目のクエリをさらに行うように構成される請求項２０に記載の装置。
【請求項２２】
前記閲覧手段が、前記メディア項目を個々に示すように構成されるか、アレイとしてクラスタされる請求項２０に記載の装置。
【請求項２３】
前記閲覧手段が、クラスタのメディア項目を個々に示すように構成されるか、別個のアレイとしてクラスタされる請求項２２に記載の装置。
【請求項２４】
前記アレイがユーザインタフェースの１つのビューである請求項２３に記載の装置。
【請求項２５】
前記装置を測位する手段も具備する請求項１６に記載の装置。
【請求項２６】
移動通信用手段も具備する請求項１６に記載の装置。
【請求項２７】
写真撮影手段も具備する請求項１６に記載の電子装置。
【請求項２８】
メディア項目を管理するコンピュータプログラム製品であって、コンピュータ可読プログラムを格納する記憶手段を具備するコンピュータプログラム製品において、前記コンピュータ可読プログラムが、少なくとも２つの記述情報を有するメタデータと共に前記個々のメディア項目を出力する命令を具備し、前記コンピュータ可読プログラムが、少なくとも一方の記述情報を共有する個々のメディア項目をまとめてクラスタする命令を具備し、メディア項目を含む前記クラスタが前記個々のメディア項目と同様に管理可能であるコンピュータプログラム製品。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２００７−５０７７７５（Ｐ２００７−５０７７７５Ａ）
【公表日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願番号】特願２００６−５３０３２３（Ｐ２００６−５３０３２３）
【出願日】平成１６年９月２７日（２００４．９．２７）
【国際出願番号】ＰＣＴ／ＦＩ２００４／０５０１３９
【国際公開番号】ＷＯ２００５／０３１６０１
【国際公開日】平成１７年４月７日（２００５．４．７）
【出願人】（３９８０１２６１６）ノキア コーポレイション (1,359)
【Ｆターム（参考）】
【公表日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願日】平成１６年９月２７日（２００４．９．２７）
【国際出願番号】ＰＣＴ／ＦＩ２００４／０５０１３９
【国際公開番号】ＷＯ２００５／０３１６０１
【国際公開日】平成１７年４月７日（２００５．４．７）
【出願人】（３９８０１２６１６）ノキア コーポレイション (1,359)
【Ｆターム（参考）】
[ Back to top ]