画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータおよびデータ記録媒体
【課題】 オブジェクトの抽出等を精度良く行う。
【解決手段】 ユーザに画像が提供され、ユーザが、その画像上の位置をクリックすることにより得られるクリックデータが、動き解析部１２１に供給される。動き解析部１２１は、ユーザからの複数のクリックデータに基づいて、ユーザによるクリック位置の動きを解析し、意図解析部１２３は、その動きの解析結果に基づいて、ユーザの意図を解析する。そして、オブジェクト抽出部１２５は、そのユーザの意図の解析結果に基づいて、画像データからオブジェクトを抽出する。
【解決手段】 ユーザに画像が提供され、ユーザが、その画像上の位置をクリックすることにより得られるクリックデータが、動き解析部１２１に供給される。動き解析部１２１は、ユーザからの複数のクリックデータに基づいて、ユーザによるクリック位置の動きを解析し、意図解析部１２３は、その動きの解析結果に基づいて、ユーザの意図を解析する。そして、オブジェクト抽出部１２５は、そのユーザの意図の解析結果に基づいて、画像データからオブジェクトを抽出する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータおよびデータ記録媒体に関し、ユーザの意図を考慮して、画像データを処理することができるようにすることにより、例えば、ユーザの意図により適合した画像処理や、より精度の高い画像処理等を行うことができるようにする画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータおよびデータ記録媒体に関する。
【０００２】
【従来の技術】例えば、画像から、オブジェクトを抽出する方法としては、隣接フレーム間の差分をとり、差分の絶対値が大きい部分を、動きのあるオブジェクトとして抽出したり、同一フレームにおいて、同じような色の部分を、オブジェクトとして抽出する方法等がある。
【０００３】
【発明が解決しようとする課題】しかしながら、隣接フレーム間の差分をとる方法では、動きのないオブジェクト等を、精度良く抽出することは困難である。また、同じような色の部分を、オブジェクトとして抽出する方法では、異なる複数の色を有しているオブジェクト等を、精度良く抽出することは困難である。
【０００４】本発明は、このような状況に鑑みてなされたものであり、オブジェクトの抽出その他の画像処理を精度良く行うこと等ができるようにするものである。
【０００５】
【課題を解決するための手段】本発明の画像処理装置は、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析する動き解析手段と、動き解析手段による解析結果に基づいて、ユーザの意図を解析する意図解析手段と、意図解析手段による解析結果に基づいて、画像データを処理する処理手段とを備えることを特徴とする。
【０００６】本発明の画像処理方法は、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析する動き解析ステップと、動き解析ステップによる解析結果に基づいて、ユーザの意図を解析する意図解析ステップと、意図解析ステップによる解析結果に基づいて、画像データを処理する処理ステップとを備えることを特徴とする。
【０００７】本発明のプログラムは、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析する動き解析ステップと、動き解析ステップによる解析結果に基づいて、ユーザの意図を解析する意図解析ステップと、意図解析ステップによる解析結果に基づいて、画像データを処理する処理ステップとを備えることを特徴とする。
【０００８】本発明のプログラム記録媒体は、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析する動き解析ステップと、動き解析ステップによる解析結果に基づいて、ユーザの意図を解析する意図解析ステップと、意図解析ステップによる解析結果に基づいて、画像データを処理する処理ステップとを備えるプログラムが記録されていることを特徴とする。
【０００９】本発明のデータは、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析し、動きの解析結果に基づいて、ユーザの意図を解析し、意図の解析結果に基づいて、画像データを処理することにより得られることを特徴とする。
【００１０】本発明のデータ記録媒体は、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析し、動きの解析結果に基づいて、ユーザの意図を解析し、意図の解析結果に基づいて、画像データを処理することにより得られるデータが記録されていることを特徴とする。
【００１１】本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きが解析され、その動きの解析結果に基づいて、ユーザの意図が解析される。そして、そのユーザの意図の解析結果に基づいて、画像データが処理される。
【００１２】本発明のデータは、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析し、動きの解析結果に基づいて、ユーザの意図を解析し、意図の解析結果に基づいて、画像データを処理することにより得られる。
【００１３】
【発明の実施の形態】図１は、本発明を適用したネットワークシステム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００１４】複数の携帯端末１1，１2，・・・，１Aは、無線通信が可能な、例えば、携帯電話機や、ＰＨＳ(Personal Handyphone System)（商標）、ＰＤＡ(Personal Digital Assistants)等で構成されている。
【００１５】基地局２1，２2，・・・，２Bは、通信サービスの提供エリアを所望の大きさに分割したセル内にそれぞれ設置された固定無線局であり、移動無線局である携帯端末１1，１2，・・・，１Aは、それが存在するセルを担当する基地局に無線接続されるようになっている。
【００１６】なお、本実施の形態では、基地局２1乃至２B（以下、特に区別する必要がない限り、基地局２と記述する）と、携帯端末１1乃至１A（以下、特に区別する必要がない限り、携帯端末１と記述する）との間では、例えば、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）と呼ばれる符号分割多元接続方式によって無線通信が行われるようになっており、これにより、２ＧＨｚの周波数帯域を使用して、最大で２Ｍｂｐｓのデータ転送速度で、大容量のデータを高速にやりとりすることができるようになっている。このように、高速かつ大容量のデータ通信が可能であることにより、携帯端末１では、音声通話は勿論、電子メールの送受信、Webページの閲覧、画像の送受信等の多種多様のデータのやりとりを行うことができるようになっている。
【００１７】基地局２は、有線回線を介して、公衆回線網３に接続されており、公衆回線網３には、インターネット５、図示しない多くの加入者有線端末、コンピュータネットワーク、企業内ネットワーク等が接続されている。さらに、公衆回線網３には、インターネットサービスプロバイダが保有するアクセスサーバ６およびコンテンツサーバ７も接続されている。
【００１８】アクセスサーバ６は、いわゆるダイヤルアップ接続による、インターネット５への接続サービスを提供する。
【００１９】コンテンツサーバ７は、携帯端末１からの要求に応じて、あるいは、いわゆるプッシュ型の配信によって、例えば、ＷｅｂページとしてのＨＴＭＬ（Hyper Text Markup Language）形式のファイルや、さらには、電子ブックのデータ、ＣＤに収められた曲の音声データ（オーディオデータ）、動画の画像データ等の各種のコンテンツを提供する。
【００２０】インターネット５には、多数のＷＷＷ(World Wide Web)サーバ４1，４2，・・・，４Cが接続され、これらのＷＷＷサーバ４1乃至４C（以下、特に区別する必要がない限り、ＷＷＷサーバ４と記載する）に対しては、加入者有線端末や、携帯端末１から、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）と呼ばれるプロトコルにしたがってアクセスすることができるようになっている。ここで、例えば、携帯端末１から基地局２までの間では、２Ｍｂｐｓの簡易トランスポートプロトコルで、基地局２からインターネット５を介してＷＷＷサーバ４までの間では、ＴＣＰ／ＩＰで、それぞれ通信が行われる。
【００２１】管理制御装置８は、公衆回線網３に接続されており、加入者有線端末や携帯端末１に対する通話料等の課金処理を行う。
【００２２】図２は、図１の携帯端末１の外観構成例を示している。
【００２３】即ち、図２は、携帯端末１が、例えば、カメラ付ディジタル携帯電話機である場合の外観構成例を示している。
【００２４】図２において、携帯端末１は、中央のヒンジ部１１を境に、表示部１２と本体１３とに分けられており、ヒンジ部１１を介して折り畳み可能に形成されている。
【００２５】表示部１２には、その上端左部に送受信用のアンテナ１４が引出しおよび収納可能な状態に取り付けられており、アンテナ１４は、基地局２との間で電波を送受信する。また、表示部１２には、その上端中央部に、ほぼ１８０度の角度範囲で回動自在なカメラ部１５が設けられている。カメラ部１５は、ＣＣＤ(ChargeCoupled Device)カメラ１６を有しており、これにより、携帯端末１では、所望の被写体の画像を撮像することができるようになっている。
【００２６】カメラ部１５の、ＣＣＤカメラ１６が設けられている反対側の面（背面）には、スピーカ１７が設けられている。即ち、ユーザが、カメラ部１５を、図２に示した状態から、ほぼ１８０度回動し、その状態に位置決めすると、図３に示すように、カメラ部１５の背面側中央に設けられたスピーカ１７が、正面側に位置することになり、これにより、通常の音声通話が可能な状態に切り換わる。
【００２７】表示部１２には、さらに、その正面に、液晶ディスプレイ１８が設けられており、液晶ディスプレイ１８には、例えば、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号、および発信履歴などが表示される。さらに、液晶ディスプレイ１８には、電子メールの内容や、Ｗｅｂページ、ＣＣＤカメラ１６で撮像された画像、携帯端末１で受信されたデータ、その他、液晶ディスプレイ１８の表示画面上の所定の位置を指示するカーソルなども表示される。
【００２８】本体１３には、その表面に「０」乃至「９」の数字キー、発呼キー、リダイヤルキー、終話及び電源キー、クリアキー、並びに電子メールキー等の操作キー１９が設けられており、ユーザは、この操作キー１９を操作することによって、各種の指示を入力することができるようになっている。
【００２９】また、本体１３においては、操作キー１９の下部に、メモボタン２０やマイクロフォン２１が設けられている。メモボタン２０は、通話中の相手の音声を録音するときに操作される。マイクロフォン２１は、通話時のユーザの音声を集音する。
【００３０】さらに、本体１３においては、操作キー１９の上部に、回転自在なトラックボール２２が、本体１３の表面から僅かに突出した状態で設けられている。トラックボール２２が回転操作されると、その操作に応じて、液晶ディスプレイ１８に表示された電話帳リストや電子メールのスクロール動作、ホームページのページ捲り動作、画像の送り動作等の種々の動作が行われる。
【００３１】また、トラックボール２２は、本体１３の内部方向への押圧操作が可能になっている。例えば、ユーザが、トラックボール２２を回転操作することにより、液晶ディスプレイ１８に表示された電話帳リストの複数の電話番号の中から所望の電話番号を選択し、トラックボール２２を本体１３の内部方向に押圧操作すると、携帯端末１では、選択された電話番号が確定され、その電話番号に対して自動的に発呼処理が行われる。
【００３２】その他、トラックボール２２は、例えば、液晶ディスプレイ１８に表示されるカーソルを移動するときに回転操作され、カーソルが位置している点をクリックするときに、押圧操作される。
【００３３】本体１３の左側面上部には、抜差自在なメモリカード２３を挿着するためのメモリカードスロット２４が設けられている。メモリカード２３には、メモボタン２０が押下された場合に、通話中の相手の音声が記録され、あるいは、また、ユーザの操作に応じて、電子メールや、ホームページ、ＣＣＤカメラ１６で撮像された画像、携帯端末１で受信されたデータ等が記録される。
【００３４】ここで、メモリカード２３は、小型薄型形状のプラスチックケース内に、電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）の一種であるフラッシュメモリ素子を格納したものであり、画像データや、音声データ、プログラム等の各種データの書き込みおよび読み出しが可能となっている。
【００３５】なお、メモリカード２３としては、例えば、本件出願人であるソニー株式会社によって開発されたメモリスティク（ソニー株式会社の商標）を採用することができる。また、メモリカード２３としては、その他、例えば、他社製品であるＳＤメモリーカードや、コンパクトフラッシュ、スマートメディア、マルチメディアカード、サムドライブ(Thumb Drive)（いずれも商標）等を採用することも可能である。また、半導体メモリであるメモリカード２３に替えて、例えば、マイクロドライブやｉＤフォーマット（いずれも商標）といった磁気ディスク等を採用することも可能である。
【００３６】メモリカード２３は、メモリカードスロット２４に対して、容易に着脱可能となっており、従って、メモリカード２３を介することで、他の電子機器との間で、データを、容易に共有することが可能となっている。
【００３７】なお、本体１３には、背面側に、図示しないバッテリパックが挿着されており、終話及び電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態となる。
【００３８】図４は、携帯端末１の電気的構成例を示している。
【００３９】携帯端末１は、表示部１２および本体１３の各部を統括的に制御する主制御部３０に対して、電源回路部３１、操作入力制御部３２、画像エンコーダ３３、カメラインターフェース部３４、ＬＣＤ（Liquid Crystal Display）制御部３５、画像デコーダ３６、多重分離部３７、記録再生部４２、変復調回路部３８、および音声コーデック３９が、メインバス４０を介して互いに接続されると共に、画像エンコーダ３３、画像デコーダ３６、多重分離部３７、変復調回路部３８、および音声コーデック３９が、同期バス４１を介して互いに接続されて構成されている。
【００４０】電源回路部３１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給し、携帯端末１を動作可能な状態に起動する。
【００４１】主制御部３０は、図示せぬＣＰＵ，ＲＯＭ、ＲＡＭ等で構成され、ＣＰＵが、ＲＯＭに記憶されたプログラムを実行することで、各種の処理を行う。
【００４２】即ち、携帯端末１は、主制御部３０の制御に基づいて、音声通話モード時にマイクロフォン２１で集音した音声信号を、音声コーデック３９によってディジタル音声データに変換し、これを変復調回路部３８でスペクトラム拡散処理する。さらに、携帯端末１は、そのスペクトラム拡散処理後の信号に対して、送受信回路部４３で周波数変換処理を施し、アンテナ１４を介して送信する。
【００４３】また、携帯端末１は、音声通話モード時にアンテナ１４で受信した受信信号を、送受信回路部４３で増幅し、周波数変換処理を施して、変復調回路部３８に供給する。変復調回路部３８は、送受信回路部４３からの信号をスペクトラム逆拡散処理し、音声コーデック３９に供給する。音声コーディック３９は、変復調回路部３８からの信号をアナログ音声信号に変換し、スピーカ１７に供給して出力させる。
【００４４】さらに、携帯端末１は、例えば、電子メール等のテキストデータを送信する場合、操作キー１９やトラックボール２２の操作によって入力されたテキストデータを、操作入力制御部３２を介して主制御部３０に送出する。主制御部３０は、そこに供給されるテキストデータを、上述した音声通話における場合と同様に、変復調回路部３８および送受信回路部４３で処理した後、アンテナ１４を介して、基地局２に送信する。
【００４５】また、携帯端末１は、電子メール等のテキストデータを受信する場合、アンテナ１４を介して基地局２から受信した受信信号を、音声通話における場合と同様に、送受信回路部４３および変復調回路部３８で処理することにより、テキストデータに復元した後、ＬＣＤ制御部３５を介して、液晶ディスプレイ１８に供給して、電子メールとして表示させる。
【００４６】さらに、携帯端末１は、例えば、画像データを送信する場合、ＣＣＤカメラ１６で撮像された画像データを、カメラインターフェース部３４を介して、画像エンコーダ３３に供給する。画像エンコーダ３３は、ＣＣＤカメラ１６から供給される画像データを、所定の符号化方式によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部３７に送出する。同時に、携帯端末１は、ＣＣＤカメラ１６による撮像中にマイクロフォン２１で集音した音声を、音声コーデック３９を介して、ディジタルの音声データとして、多重分離部３７に送出する。多重分離部３７は、画像エンコーダ３３から供給された符号化画像データと音声コーデック３９から供給された音声データとを、所定の方式で多重化する。この結果得られる多重化データは、変復調回路部３８および送受信回路部４３で処理され、アンテナ１４を介して送信される。
【００４７】なお、上述のようにしてCCDカメラ１６で撮影される画像データは、同時に、カメラインターフェース部３４及びＬＣＤ制御部３５を介して、液晶ディスプレイ１８に供給して表示することができる。
【００４８】携帯端末１は、例えば、画像データを受信する場合、アンテナ１４を介して基地局２から受信した受信信号を、送受信回路部４３および変復調回路部３８で処理し、その結果得られる多重化データを、多重分離部３７に送出する。多重分離部３７は、多重化データを、符号化画像データと音声データとに分け、同期バス４１を介して、符号化画像データを画像デコーダ３６に供給すると共に、音声データを音声コーデック３９に供給する。画像デコーダ３６は、符号化画像データを所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、ＬＣＤ制御部３５を介して液晶ディスプレイ１８に供給して表示させる。音声コーデック３９は、そこに供給される音声データをアナログ音声信号に変換し、スピーカ１７に供給して出力させる。
【００４９】その他、携帯端末１では、コンテンツサーバ７がプッシュ型で配信する電子ブックのデータや、映画等の画像（動画または静止画）データ等のコンテンツの受信も可能となっている。
【００５０】ここで、携帯端末１では、受信した各種のデータを、記録再生部４２を介してメモリカード２３に供給して記録させることが可能である。
【００５１】次に、図５は、図１のコンテンツサーバ７のハードウェア構成例を示している。
【００５２】バス５１は、CPU５２，ROM５３，RAM５４，ハードディスク５５，入出力インタフェース６０を相互に接続している。CPU５２は、ROM５３やRAM５４等に記憶されたプログラムを実行することにより、各種の処理を行う。ROM５３は、IPL(Initial Program Loading)のプログラム等を記憶している。RAM５４は、ハードディスク５５等から転送されてくるOS(Operating System)のプログラムや、サーバとして機能するためのプログラム等、さらには、CPU５２の処理上必要なデータ等を一時記憶する。ハードディスク５５は、各種のプログラムやデータ等を記憶する。出力部５６は、例えば、ディスプレイやスピーカ等で構成され、各種のデータを表示、出力する。入力部５７は、キーボードや、マウス、マイク等で構成され、必要な入力を与えるときに操作される。通信部５８は、外部のコンピュータ（例えば、携帯端末１や、アクセスサーバ６等）と通信するときに通信制御を行う。ドライブ５９は、リムーバブル記録媒体６１をドライブし、リムーバブル記録媒体６１からのデータやプログラムの読み出し、またはそれらの記録を行う。入出力インタフェース６０は、バス５１と、出力部５６、入力部５７、通信部５８、およびドライブ５９との間のインタフェースとして機能する。リムーバブル記録媒体６１は、例えば、フロッピー（登録商標）ディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどで構成される。
【００５３】以上のように構成されるコンテンツサーバ７では、CPU５２は、インターネットサービスプロバイダの管理者によって、入力部５７が操作等されることにより、入出力インタフェース６０を介して指令が入力されると、それにしたがって、ROM(Read Only Memory)５３に格納されているプログラムを実行する。あるいは、また、CPU５２は、ハードディスク５５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部５８で受信されてハードディスク５５にインストールされたプログラム、またはドライブ５９に装着されたリムーバブル記録媒体６１から読み出されてハードディスク５５にインストールされたプログラムを、RAM(Random Access Memory)５４にロードして実行する。これにより、CPU５２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU５２は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部５６から出力、あるいは、通信部５８から送信、さらには、ハードディスク５５に記録等させる。
【００５４】なお、本明細書において、コンテンツサーバ７（のCPU５２）に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしも、後述するフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクト（コンピュータプログラムのモジュールとしてのオブジェクト）による処理）も含むものである。
【００５５】また、プログラムは、コンテンツサーバ７だけによって処理されるものであっても良いし、コンテンツサーバ７を含む複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００５６】ここで、プログラムは、コンテンツサーバ７に内蔵されている記録媒体としてのハードディスク５５やＲＯＭ５３に予め記録しておくことができる。
【００５７】あるいはまた、プログラムは、リムーバブル記録媒体６１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体６１は、いわゆるパッケージソフトウエアとして提供することができる。
【００５８】さらに、プログラムは、上述したようなリムーバブル記録媒体６１からコンテンツサーバ７にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンテンツサーバ７に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンテンツサーバ７に有線で転送し、コンテンツサーバ７では、そのようにして転送されてくるプログラムを、通信部５８で受信し、内蔵するハードディスク５５にインストールすることができる。
【００５９】ところで、コンテンツサーバ７は、上述したように、例えば、プッシュ型の配信や携帯端末１からの要求によって、電子ブックのデータや映画の画像データ等のコンテンツを、携帯端末１に提供する他、その提供するコンテンツを、複数の携帯端末１1乃至１Aそれぞれから送信されてくる各ユーザのクリックデータに基づいて処理するようにもなっている。
【００６０】即ち、図１において、コンテンツサーバ７は、例えば、画像データを、複数の携帯端末１1乃至１Aのうちの、ある注目している注目ユーザの携帯端末１（以下、適宜、注目携帯端末１という）に提供する場合には、最初は、例えば、図６（Ａ）に示すような、全体の解像度が低い（あるいは、標準解像度の）画像データを提供する。
【００６１】注目携帯端末１において、図６（Ａ）に示した解像度の低い画像データが表示されている場合に、注目携帯端末１のユーザが、トラックボール２２をクリックすることにより、自身が所望する物体の表示部分を選択、指示すると、主制御部３０（図４）は、その指示された表示部分（空間的および時間的な位置）を特定する情報を、クリックデータとして、変復調回路部３８および送受信回路部４３を制御することにより、コンテンツサーバ７に送信する。
【００６２】コンテンツサーバ７は、注目携帯端末１から送信されてくるユーザのクリックデータに基づいて、その注目携帯端末１のユーザ（以下、適宜、注目ユーザという）の意図を推定し、その推定した意図に基づいて、提供する画像データを加工する等の所定の画像処理を行う。
【００６３】即ち、コンテンツサーバ７は、例えば、提供する画像データの中で、注目ユーザが注視しようとしている意図が推測される領域の解像度を向上させる。
【００６４】その結果、注目携帯端末１には、例えば、図６（Ｂ）に示すように、注目ユーザが注視している物体（オブジェクト）の表示部分の解像度が向上した画像データが提供される。
【００６５】また、コンテンツサーバ７から注目携帯端末１に対して、例えば、図７（Ａ）に示すように、オブジェクト分離されていない画像データが提供される場合において、注目携帯端末１のユーザが、トラックボール２２をクリックすることにより、自身が所望するオブジェクトの表示部分を選択、指示すると、主制御部３０（図４）は、その指示された表示部分を特定する情報を、クリックデータとして、変復調回路部３８および送受信回路部４３を制御することにより、コンテンツサーバ７に送信する。
【００６６】コンテンツサーバ７は、このようにして注目携帯端末１から送信されてくるユーザのクリックデータに基づいて、その注目携帯端末１のユーザの意図を推定し、その推定した意図に基づいて、提供する画像データ画像データからオブジェクトを抽出する。即ち、コンテンツサーバ７は、例えば、注目ユーザが注視しようとしている意図が推測されるオブジェクト（前景）を抽出することにより、図７（Ａ）の画像データを、図７（Ｂ）に示すように、オブジェクト（前景）と背景に分離する。さらに、コンテンツサーバ７は、必要に応じて、オブジェクト抽出結果に基づいて、オブジェクト符号化等の画像圧縮を行い、あるいは、オブジェクト抽出の結果得られるオブジェクトによって、オブジェクトのデータベースを構成する。
【００６７】次に、図８は、コンテンツとして、映画等の動画の画像データを提供するコンテンツサーバ７の機能的構成例を示している。
【００６８】送受信制御部７１は、画像加工部７５から供給される、未加工の、または加工された画像データを、携帯端末１に送信する。また、送受信制御部７１は、携帯端末１から送信されてくるクリックデータを受信し、登録部７２に供給する。登録部７２は、送受信制御部７１から供給されるクリックデータを、クリックデータベース７３に供給して記憶させる（登録する）。クリックデータベース７３は、登録部７２から供給されるクリックデータを記憶する。
【００６９】なお、クリックデータベース７３は、携帯端末１1乃至１Aそれぞれからの各ユーザのクリックデータを、各ユーザごとに記憶することができるようになっている。さらに、クリックデータベース７３は、各ユーザについて、複数のクリックデータを記憶することができるようになっている。このクリックデータベース７３における各ユーザごとの複数のクリックデータの登録は、登録部７２が管理するが、登録部７２は、各ユーザについて、所定数のクリックデータを記憶すると、次に供給されるユーザのクリックデータを、そのユーザについての最も古いクリックデータに上書きする形で、クリックデータベース７３に登録するようになっている。
【００７０】クリックデータ処理部７４は、クリックデータベース７３に記憶されたクリックデータに基づいて、画像データベース７６に記憶された画像データを処理し、その処理結果を、画像加工部７５に供給する。なお、ここでは、クリックデータ処理部７４は、例えば、クリックデータに基づいて、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果を、画像加工部７５に供給するようになっている。
【００７１】画像加工部７５は、画像データベース７６から画像データを読み出し、送受信制御部７１に供給する。さらに、画像加工部７５は、送受信制御部７１に画像データを供給する際、その画像データを、必要に応じて、クリックデータ処理部７４からのオブジェクト抽出結果に基づいて加工する。即ち、画像加工部７５は、クリックデータ処理部７４から供給されるオブジェクトと、画像データベース７６から読み出した画像データとのマッチングを行うこと等によって、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果に基づいて、画像データをオブジェクト符号化して、送受信制御部７１に供給する。あるいは、また、画像加工部７５は、画像データベース７６から読み出した画像データにおいて、クリックデータ処理部７４から供給されるオブジェクトと同様の領域を検出し、その領域の解像度を向上させて、送受信制御部７１に供給する。
【００７２】画像データベース７６は、携帯端末１等に提供するコンテンツとしての画像データを記憶している。
【００７３】以上のように構成されるコンテンツサーバ７では、画像データベース７６から画像データが、所定のスケジュールにしたがって、あるいは、携帯端末１からの要求にしたがって読み出され、画像加工部７５を介して、送受信制御部７１に供給される。送受信制御部７１は、この画像データを、携帯端末１に送信する。
【００７４】このようにして、コンテンツサーバ７から携帯端末１に送信された画像は、携帯端末１（図４）において、その液晶ディスプレイ１８に表示される。そして、ユーザが、液晶ディスプレイ１８に表示された画像の所定の位置に、カーソルを移動して、トラックボール２２をクリックすると、携帯端末１は、そのクリックされた位置の座標と、その位置を含むフレーム（あるいはフィールド）を表す情報等を、クリックデータとして、コンテンツサーバ７に送信する。
【００７５】携帯端末１から送信されてくるクリックデータは、コンテンツサーバ７（図８）の送受信制御部７１で受信され、登録部７２に供給される。登録部７２は、送受信制御部７１からのクリックデータを、クリックデータベース７３に供給して記憶させる。
【００７６】一方、クリックデータ処理部７４は、以上のようにして、クリックデータベース７３に記憶されたクリックデータを読み出し、そのクリックデータに基づいて、画像データベース７６に記憶された画像データから、オブジェクトを抽出して、そのオブジェクト抽出結果を、画像加工部７５に供給する。
【００７７】画像加工部７５は、クリックデータ処理部７４からオブジェクト抽出結果を受信すると、そのクリックデータ処理部７４から供給されたオブジェクトと、画像データベース７６から読み出した画像データとのマッチングを行うことにより、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果に基づいて、画像データをオブジェクト符号化して、送受信制御部７１に供給する。あるいは、また、画像加工部７５は、画像データベース７６から読み出した画像データから、クリックデータ処理部７４から供給されるオブジェクトと同様の領域を検出し、その領域の解像度を向上させて、送受信制御部７１に供給する。
【００７８】なお、画像加工部７５における解像度の向上処理には、例えば、本件出願人が先に提案しているクラス分類適応処理を採用することができる。
【００７９】クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００８０】即ち、適応処理では、例えば、標準解像度または低解像度の画像（ＳＤ(Standard Definition)画像）を構成する画素（以下、適宜、ＳＤ画素という）と、所定の予測係数との線形結合により、そのＳＤ画像の解像度を向上させた高解像度の画像（ＨＤ(High Definition)画像）の画素の予測値を求めることで、そのＳＤ画像の解像度を向上させた画像が得られる。
【００８１】具体的には、例えば、いま、あるＨＤ画像を教師データとするとともに、そのＨＤ画像の解像度を劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００８２】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・ ・・・（１）
【００８３】式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００８４】
ＸＷ＝Ｙ’ ・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００８５】そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００８６】
ＸＷ＝Ｙ＋Ｅ ・・・（３）
【００８７】この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００８８】従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００８９】
【数４】
・・・（４）
【００９０】そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【００９１】
【数５】
・・・（５）
【００９２】式（４）および（５）より、式（６）が得られる。
【００９３】
【数６】
・・・（６）
【００９４】さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００９５】
【数７】
・・・（７）
【００９６】なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式 ＡＷ＝ｖ ・・・（８）
で表すことができる。
【００９７】式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００９８】以上のようにして、最適な予測係数ｗjを求めておき、さらに、その予測係数ｗjを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００９９】ここで、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【０１００】なお、画像の解像度を向上させる方法は、上述したクラス分類適応処理に限定されるものではない。
【０１０１】次に、図９は、図８のクリックデータ処理部７４の構成例を示している。
【０１０２】図９の実施の形態においては、クリックデータ処理部７４は、画像データベース７６に記憶された画像データからオブジェクトを抽出する第１オブジェクト抽出装置８１と第２オブジェクト抽出装置８２とから構成されている。
【０１０３】第１オブジェクト抽出装置８１は、クリックデータに基づき、ユーザの意図を考慮せずに、オブジェクト抽出を行うようになっており、第２オブジェクト抽出装置８２は、クリックデータに基づき、ユーザの意図を考慮して、オブジェクト抽出を行うようになっている。
【０１０４】図１０は、図９の第１オブジェクト抽出装置８１の構成例を示している。
【０１０５】クリックデータ読み出し部９１は、クリックデータベース７３から、ユーザごとのクリックデータを読み出し、オブジェクト抽出部９４に供給する。画像データ読み出し部９２は、画像データベース７６から、必要な画像データを読み出し、背景抽出部９３、オブジェクト抽出部９４、および付加情報算出部９５に供給する。
【０１０６】背景抽出部９３は、後述するオブジェクト抽出部９４によるオブジェクト抽出結果に基づいて、画像データ読み出し部９２から供給される画像データから、画像の背景部分（後述する興味対象領域以外の画像領域、以下、背景画像と呼ぶ）に相当する信号（以下、背景画像データと呼ぶ）を抽出し、その抽出した背景画像データを、多重化処理部９６と付加情報算出部９５に供給する。即ち、本実施の形態では、背景抽出部９３は、画像データ読み出し部９２が出力する画像データから、オブジェクト抽出部９４が出力するオブジェクト画像を除いた残りを、背景画像として抽出する。
【０１０７】オブジェクト抽出部９４は、画像データ読み出し部９２から供給される画像の中において、クリックデータ読み出し部９１から供給されるクリックデータによって特定される領域を、携帯端末１のユーザが注目している画像領域である興味対象領域として抽出し、その抽出した興味対象領域に対応する画像データを、多重化処理部９６に供給する。なお、画像データ読み出し部９２から供給される画像の中に、携帯端末１のユーザが注目する興味対象領域が複数存在する場合、オブジェクト抽出部９４は、その複数の興味対象領域の画像データを抽出して、多重化処理部９６に供給する。また、オブジェクト抽出部９４で抽出された興味対象領域の画像データは、付加情報算出部９５にも供給される。
【０１０８】ここで、ユーザが注目する興味対象領域としては、例えば、物体などのオブジェクトを挙げることができる。以下、オブジェクト抽出部９４において興味対象領域の一例としてオブジェクト（以下、適宜、オブジェクト画像とも呼ぶ）を抽出する場合を例に挙げて説明することにする。但し、興味対象領域は、必ずしもオブジェクトである必要はなく、オブジェクト以外の画像領域やオブジェクト内の画像領域、あるいは背景画像部分等であっても良い。なお、オブジェクト抽出部９４において行われるオブジェクト抽出（興味対象領域の特定）処理の詳細についての説明は後述する。
【０１０９】付加情報算出部９５は、背景抽出部９３から供給される背景画像データに基づいて、背景の動き（画像の撮影時に、撮影方向が動くことによる背景の動き）を表す背景動きベクトルを検出するとともに、オブジェクト抽出部９４から供給されるオブジェクト画像の画像データ（以下、オブジェクト画像データとも呼ぶ）に基づいて、オブジェクトの動きを表すオブジェクト動きベクトルを検出し、それら動きベクトルを付加情報の一つとして、多重化処理部９６に供給する。また、付加情報算出部９５は、オブジェクト抽出部９４から供給されたオブジェクト画像データに基づいて、画像データベース７６（図８）から読み出された画像（フレーム）内におけるオブジェクトの位置や輪郭等のようなオブジェクトに関連する情報も、付加情報として多重化処理部９６に供給する。すなわち、オブジェクト抽出部９４は、オブジェクト画像を抽出する際に、そのオブジェクトの位置や輪郭等のオブジェクトに関連する情報も抽出し、付加情報算出部９５に供給するようになっており、付加情報算出部９５は、そのオブジェクトに関連する情報も付加情報として出力するようになっている。
【０１１０】多重化処理部９６は、オブジェクト抽出部９４からのオブジェクト画像データ、背景抽出部９３からの背景画像データ、付加情報算出部９５からの付加情報を多重化し、オブジェクト抽出結果として出力する。
【０１１１】以上のように構成される第１オブジェクト抽出装置８１では、図１１のフローチャートに示すように、まず最初に、ステップＳ１において、クリックデータ読み出し部９１は、クリックデータベース７３から、そこに記憶されたクリックデータを読み出し、オブジェクト抽出部９４に供給する。さらに、ステップＳ１では、画像データ読み出し部９２は、画像データベース７６から、処理の対象とする画像データを読み出し、背景抽出部９３、オブジェクト抽出部９４、および付加情報算出部９５に供給する。ここで、画像データ読み出し部９２は、クリックデータ読み出し部９１が読み出すクリックデータが表すフレーム（またはフィールド）付近のフレームの画像データを、処理対象とするようになっている。
【０１１２】そして、ステップＳ２に進み、オブジェクト抽出部９４は、画像データ読み出し部９２の画像データから、クリックデータ読み出し部９１より供給される各ユーザについてのクリックデータに基づいて、オブジェクト画像データを抽出し、背景抽出部９３、付加情報算出部９５、および多重化処理部９６に供給する。
【０１１３】背景抽出部９３は、ステップＳ３において、画像データ読み出し部９２から供給される画像データから、オブジェクト抽出部９４より供給されるオブジェクト画像データを減算することで、背景画像データを抽出し、付加情報算出部９５および多重化処理部９６に供給する。
【０１１４】付加情報算出部９５は、ステップＳ４において、画像データ読み出し部９２、背景抽出部９３、およびオブジェクト抽出部９４の出力に基づいて、付加情報を算出し、多重化処理部９６に供給する。
【０１１５】多重化処理部９６は、ステップＳ５において、オブジェクト抽出部９４からのオブジェクト画像データ、背景抽出部９３からの背景画像データ、付加情報算出部９５からの付加情報を多重化し、その結果得られる多重化データを、オブジェクト抽出結果として出力して、処理を終了する。
【０１１６】次に、図１２は、図１０のオブジェクト抽出部９４の構成例を示している。
【０１１７】画像データ読み出し部９２（図１０）から供給される画像データは、画像用メモリ１０１に蓄積される。画像用メモリ１０１に記憶された画像データは、そこから読み出され、静動判定部１０３、オブジェクト画像抽出部１１３、および切換選択スイッチ１０７の共通端子に送られる。なお、画像用メモリ１０１には、後段の静動判定部１０３で行われる静動判定の際に必要となる、少なくとも数フレーム分の画像データが蓄積される。
【０１１８】また、クリックデータ読み出し部９１（図１０）から供給されるクリックデータは、クリックデータ用メモリ１０２に蓄積される。そして、クリックデータは、クリックデータ用メモリ１０２から読み出され、静動判定部１０３、連続クリック判定部１０４、および切換選択スイッチ１０６の共通端子に送られる。なお、このクリックデータ用メモリ１０２には、後段の連続クリック判定部１０４における連続クリック判定の際に必要となる数の時系列のクリックデータが蓄積される。
【０１１９】静動判定部１０３は、クリックデータ用メモリ１０２に記憶されたクリックデータのうちの、所定のものに注目し、その注目した注目クリックデータを読み出す。さらに、静動判定部１０３は、その注目クリックデータが示すクリック位置（画像上の座標値）を中心とした局所的な小ブロック（例えば１６×１６画素）の画像領域が、動きがある動き領域であるか、または動きのない静止領域であるかの静動判定を行う。すなわち、静動判定部１０３は、クリック位置を中心とした１６×１６画素について、数フレーム前の画像領域と現フレームの画像領域との間でフレーム間差分を求め、このフレーム間差分値が所定のしきい値以下である場合には静止と判定し、フレーム間差分が所定のしきい値より大きい場合には動きと判定する静動判定を行う。なお、扱う画像がカラー画像である場合、静動判定の際には、例えば、Ｒ，Ｇ，Ｂの各１６×１６画素の画像について、それぞれフレーム間差分を求め、それらのＲ，Ｇ，Ｂ毎に求めたフレーム間差分の絶対値の平均値が所定のしきい値（例えば値１０）以下のときは静止と判定し、そのしきい値より大きいときは動きと判定するようにすることができる。静動判定部１０３は、静動判定により静止と判定した場合には、注目クリックデータを静止クリック（静止領域のクリック）であるとし、静動判定により動きと判定した場合には、注目クリックデータを動きクリック（動き領域のクリック）であるとして、その静止クリック又は動きクリックを示す情報を、静動判定結果として、処理判定部１０５に送る。
【０１２０】連続クリック判定部１０４は、注目クリックデータのクリック時刻（クリックデータに含まれる、クリックの時間的な位置）に基づいて、あるユーザが行ったクリック操作が連続的なクリック操作であるか否かの連続クリック判定を行う。すなわち、連続クリック判定部１０４は、連続クリック判定として、注目クリックデータのクリック時刻と、その直前（前回）のクリックデータのクリック時刻との時間差（クリック時間間隔）を求め、その時間差が所定のしきい値以下である場合には連続的なクリックであると判定し、クリック時刻の時間差が所定のしきい値より大きい場合には連続クリックでないと判定する。そして、連続クリック判定部１０４は、連続クリック判定により連続的なクリックであると判定した場合には、注目クリックデータを連続クリックとし、一方、連続クリック判定により連続的なクリックでない（クリック時刻の時間差が所定のしきい値以上である）と判定した場合には、注目クリックデータを不連続クリックとし、それら連続クリック又は不連続クリックの情報を、連続クリック判定結果として処理判定部１０５に送る。
【０１２１】処理判定部１０５は、静動判定部１０３からの静動判定結果と、連続クリック判定部１０４からの連続クリック判定結果とに基づいて、切換選択スイッチ１０６乃至１０８の切換制御を行う。
【０１２２】即ち、例えば、静動判定結果と連続クリック判定結果により、注目クリックデータが、静止クリックであり、且つ連続クリックであることが判った場合、処理判定部１０５は、注目クリックデータが、静止オブジェクト連結処理部１１１に送られるように、切換選択スイッチ１０６を切換制御すると共に、画像用メモリ１０１から出力される画像データが、静止オブジェクト連結処理部１１１に送られるように、切換選択スイッチ１０７を切換制御する。さらに、処理判定部１０５は、後述するオブジェクト抽出結果用メモリ１１４から出力される前回のクリックデータ、そのクリックデータに割り当てられたオブジェクト番号（オブジェクトを分類（識別）する番号）、およびそのオブジェクト番号に対応するオブジェクト画像データが、静止オブジェクト連結処理部１１１に送られるように、切換選択スイッチ１０８を切換制御する。
【０１２３】また、静動判定結果と連続クリック判定結果により、注目クリックデータが、動きクリックであり、且つ連続クリックであることが判った場合、処理判定部１０５は、注目クリックデータが、動きオブジェクト連結処理部１１０に送られるように、切換選択スイッチ１０６を切換制御すると共に、画像用メモリ１０１から出力される画像データが、動きオブジェクト連結処理部１１０に送られるように、切換選択スイッチ１０７を切換制御する。さらに、処理判定部１０５は、オブジェクト抽出結果用メモリ１１４から出力される前回のクリックデータ、そのクリックデータに割り当てられたオブジェクト番号、およびそのオブジェクト番号に対応するオブジェクト画像データが、動きオブジェクト連結処理部１１０に送られるように、切換選択スイッチ１０８を切換制御する。
【０１２４】さらに、静動判定結果と連続クリック判定結果により、注目クリックデータが、静止クリックであり、且つ不連続クリック（クリック時刻の時間差が所定のしきい値以上となるクリック）であることが判った場合、処理判定部１０５は、注目クリックデータが、オブジェクト番号割り当て部１０９に送られるように、切換選択スイッチ１０６を切換制御すると共に、画像用メモリ１０１から出力される画像データが、静止オブジェクト連結処理部１１１に送られるように、切換選択スイッチ１０７を切換制御する。さらに、処理判定部１０５は、オブジェクト抽出結果用メモリ１１４から出力される前回のクリックデータ、オブジェクト番号、およびオブジェクト画像データについては、静止オブジェクト連結処理部１１１に送らないように、切換選択スイッチ１０８を切換制御する（切換選択スイッチ１０８をオープン状態にする）。
【０１２５】また、静動判定結果と連続クリック判定結果により、注目クリックデータが、動きクリックであり、且つ不連続クリックであることが判った場合、処理判定部１０５は、注目クリックデータが、オブジェクト番号割り当て部１０９に送られるように、切換選択スイッチ１０６を切換制御すると共に、画像用メモリ１０１から出力される画像データが、動きオブジェクト連結処理部１１０に送られるように、切換選択スイッチ１０７を切換制御する。さらに、処理判定部１０５は、オブジェクト抽出結果用メモリ１１４から出力される前回のクリックデータと、オブジェクト番号、およびオブジェクト画像データについては、動きオブジェクト連結処理部１１０に送らないように、切換選択スイッチ１０８を切換制御する。
【０１２６】オブジェクト番号割り当て部１０９は、静止オブジェクト連結処理部１１１と、動きオブジェクト連結処理部１１０において、後述するような連結処理の対象となるもの以外の不連続クリックとなっているクリックデータに対して、新たなオブジェクト番号を割り当て、そのオブジェクト番号とクリックデータをオブジェクト番号用メモリ１１２に送る。
【０１２７】動きオブジェクト連結処理部１１０は、処理判定部１０５により、注目クリックデータが動きクリックであり、且つ連続クリックと判定された場合に、前回のクリックデータが動きクリックであり、さらに、注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックデータに割り当てられたオブジェクト番号で構成される動きオブジェクト画像の領域の特徴に含まれているか、または近似しているか否かを判定する。そして、動きオブジェクト連結処理部１１０は、その判定結果が真である場合、注目クリックデータが、同一のオブジェクト画像をクリックしているものであると判断し、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる動きオブジェクト連結処理を行い、そのオブジェクト番号と注目クリックデータを、オブジェクト番号用メモリ１１２に送る。
【０１２８】静止オブジェクト連結処理部１１１は、処理判定部１０５により、注目クリックデータが静止クリックであり、且つ連続クリックと判定された場合に、前回のクリックが静止クリックであり、さらに、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられたオブジェクト番号で構成される静止オブジェクト画像の領域内に含まれているか、またはその近傍であるか否かを判定する。そして、静止オブジェクト連結処理部１１１は、その判定結果が真である場合、注目クリックデータが、前回のクリックデータと同一のオブジェクト画像をクリックしているものであると判断し、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行い、そのオブジェクト番号と注目クリックデータを、オブジェクト番号用メモリ１１２に送る。
【０１２９】オブジェクト番号用メモリ１１２は、オブジェクト番号割り当て部１０９、動きオブジェクト連結処理部１１０、および静止オブジェクト連結処理部１１１においてオブジェクト番号が割り当てられた過去複数フレーム分に相当するクリックデータを蓄積し、その蓄積したクリックデータ及びオブジェクト番号を、オブジェクト画像抽出部１１３に送る。
【０１３０】オブジェクト画像抽出部１１３は、画像用メモリ１０１より供給される画像データから、オブジェクト番号用メモリ１１２より供給される、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止オブジェクト画像、動きオブジェクト画像、背景画像等を抽出し、その抽出結果を、オブジェクト抽出結果用メモリ１１４に供給する。
【０１３１】すなわち、オブジェクト画像抽出部１１３は、オブジェクト番号用メモリ１１２より供給される、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止クリックとされたクリックデータの密度が高い画像部分の中で支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部１１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの画像上における分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、オブジェクト画像として、画像データから抽出する。
【０１３２】また、オブジェクト画像抽出部１１３は、動きクリックとされたクリックデータの中で、同一オブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチング等を行い、そのマッチング結果に基づいて、動き補償を行う。さらに、オブジェクト画像抽出部１１３は、パターンマッチングで近似していると判定された画像領域（動き補償によって、いわば位置合わせを行った画像領域）においてクリック密度が高く支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部１１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの画像上での分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、オブジェクト画像として、画像データから抽出する。
【０１３３】さらに、オブジェクト画像抽出部１１３は、上述したような静止クリックや、動きクリックのクリック密度が低い画像部分を、背景画像とする。
【０１３４】オブジェクト抽出結果用メモリ１１４は、オブジェクト画像抽出部１１３が抽出したオブジェクト画像データを、クリックデータおよびオブジェクト番号等とともに蓄積し、必要に応じて、図１０の背景抽出部９３、付加情報算出部９５、および多重化処理部９６に供給する。
【０１３５】次に、図１３のフローチャートを参照し、図１２に示したオブジェクト抽出部９４において、クリックデータに基づいて、画像データから、携帯端末１のユーザが注目しているオブジェクト画像（興味対象領域）を抽出する処理の詳細について説明する。
【０１３６】先ずステップＳ１１として、画像用メモリ１０１は、画像データ読み出し部９２（図１０）より入力されるフレームの画像データを蓄積する。なお、画像用メモリ１０１は、後段のステップＳ１３で行われる静動判定処理の際に必要となる、少なくとも数フレーム分の画像データを蓄積する。
【０１３７】また、ステップＳ１１では、クリックデータ用メモリ１０２は、クリックデータ読み出し部９１（図１０）から供給されるクリックデータを受信して蓄積する。なお、このクリックデータ用メモリ１０２には、後段のステップＳ１３で行われる連続クリック判定処理の際に必要となる、少なくとも所定の時間分（例えば５００〜７００ｍ秒以上）のクリックデータが蓄積される。
【０１３８】その後、ステップＳ１２に進み、クリックデータ用メモリ１０２に、まだ処理していないクリックデータが記憶されているか否かが判定される。ステップＳ１２において、まだ処理していないクリックデータが、クリックデータ用メモリ１０２に無いと判定された場合は、ステップＳ１１に戻って入力待ち状態となる。一方、ステップＳ１２において、まだ処理していないクリックデータが、クリックデータ用メモリ１０２に有ると判定された場合、ステップＳ１３に進み、その処理されていないクリックデータのうちの、例えば、時間的に最も過去のものを、注目クリックデータとして、その注目クリックデータを対象に、静動判定部１０３、連続クリック判定部１０４、および処理判定部１０５による静動判定処理と連続クリック判定処理が行われる。
【０１３９】即ち、ステップＳ１３において、静動判定部１０３は、静動判定処理として、注目クリックデータに含まれるクリック位置（画像上の座標値）情報を用い、そのクリック位置を中心とした局所的な小ブロックの画像領域に動きがあるか、或いは静止しているかの判定を行う。
【０１４０】より具体的に説明すると、図１３のステップＳ１３の処理に進んで静動判定処理に移行したときの静動判定部１０３は、図１４のフローチャートに示すように、先ずステップＳ２１として、画像用メモリ１０１とクリックデータ用メモリ１０２にそれぞれ蓄積されている画像データとクリックデータを、数フレーム分だけ読み出す。即ち、静動判定部１０３は、注目クリックデータに対応するクリックが行われたフレームを含む、過去数フレーム分の画像データと、その数フレームに対して行われたクリックに対応するクリックデータを、画像データ用メモリ１０１とクリックデータ用メモリ１０２から、それぞれ読み出す。なお、扱う画像がカラー画像である場合、静動判定部１０３は、図１５（Ａ）に示すように、数フレームのＲ（赤），Ｇ（緑），Ｂ（青）それぞれの画像データを読み出す。
【０１４１】次に、静動判定部１０３は、ステップＳ２２として、注目クリックデータが示すクリック位置を中心とした、例えば水平方向１６画素及び垂直方向１６画素からなる局所的な小ブロックの画像領域について、数フレーム前の画像領域と現フレームの画像領域との間のフレーム間差分を計算する。なお、扱う画像がカラー画像である場合、静動判定部１０３は、ステップＳ２２の処理として、図１５（Ｂ）および図１５（Ｃ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の画像について、フレーム間差分を求め、そのＲ，Ｇ，Ｂ毎に求めたフレーム間差分それぞれの絶対値の平均値を求める。
【０１４２】次に、静動判定部１０３は、ステップＳ２３の処理として、ステップＳ２２の計算により求めたフレーム間差分値が、所定のしきい値以下であるかどうかを判定する。そして、ステップＳ２４に進み、静動判定部１０３は、フレーム間差分値が、所定のしきい値以下である場合には、注目クリックデータが示すクリック位置を含む小ブロック（以下、適宜、注目ブロックという）が、静止であると判定し、一方、フレーム間差分が所定のしきい値より大きい場合には、動きがあると判定する。さらに、静動判定部１０３は、注目ブロックを静止と判定したときには、その静止と判定された注目ブロックに対応した注目クリックデータを静止クリックとし、動きと判定したときには、その動きと判定された注目ブロックに対応した注目クリックデータを動きクリックとし、静動判定結果として出力する。
【０１４３】なお、扱う画像がカラー画像である場合、静動判定部１０３は、ステップＳ２４において、図１５（Ｄ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の注目ブロック毎に求められているフレーム間差分の絶対値の平均値が、所定のしきい値（例えば、値１０）以下のときは、例えば、所定のフラグを”０”とし、逆に、しきい値より大きいときは、例えば所定のフラグを”１”にする。さらに、静動判定部１０３は、ステップＳ２４において、図１５（Ｅ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の注目ブロック毎に設定されている所定フラグのうち全てが”０”となっている場合には、注目ブロックが静止であると判定し、その静止と判定された注目ブロックに対応した注目クリックデータを静止クリックとする。一方、Ｒ，Ｇ，Ｂの各１６×１６画素の注目ブロック毎に設定されている所定フラグのうち何れか一つにでも”１”が立っている場合には、静動判定部１０３は、注目ブロックに、動きがあると判定し、その動きと判定された注目ブロックに対応した注目クリックデータを動きクリックとする。そして、静動判定部１０３は、静止クリックまたは動きクリックの情報を、静動判定結果として出力する。
【０１４４】図１３のステップＳ１３では、さらに、連続クリック判定部１０４において、注目クリックデータに含まれるクリック時刻に基づいて、ユーザが行ったクリック操作が連続的なクリック操作であるか否かの連続クリック判定が行われる。
【０１４５】より具体的に説明すると、図１３のステップＳ１３における連続クリック判定部１０４は、図１６のフローチャートに示すように、先ず、ステップＳ３１として、クリックデータ用メモリ１０２に蓄積されているクリックデータを読み出す。
【０１４６】次に、連続クリック判定部１０４は、ステップＳ３２として、注目クリックデータのクリック時刻と、その直前（前回）のクリックデータのクリック時刻との時間差（クリック間隔）を求める。
【０１４７】次に、連続クリック判定部１０４は、ステップＳ３３として、その時間差が所定のしきい値以下であるか否か判定を行う。このステップＳ３３において、その時間差が所定のしきい値以下であると判定された場合には、連続クリック判定部１０４は、注目クリックデータが、連続的なクリックであると判定し、一方、クリック時刻の時間差が所定のしきい値より大きいと判定された場合には、連続クリック判定部１０４は、注目クリックデータが、連続的なクリックでないと判定する。そして、連続クリック判定部１０４は、ステップＳ３４に進み、連続クリックまたは不連続クリックを表す情報を、連続クリック判定結果として出力する。
【０１４８】即ち、ステップＳ３３において、連続的なクリックであると判定された場合、ユーザは、ある一つのオブジェクト画像に対するクリック操作を連続して行っている可能性が高い。これは、携帯端末１のユーザが、空間解像度を高くすることを望むオブジェクト画像部分（興味対象領域）を連続的にクリックする傾向があると考えられるからである。したがって、連続クリック判定部１０４は、連続クリック判定処理において連続的なクリックであると判定した場合には、注目クリックデータを連続クリックとし、一方、連続的なクリックでない（クリック時刻の時間差が所定のしきい値以上である）と判定した場合には、注目クリックデータを不連続クリックとし、連続クリック判定結果として出力する。
【０１４９】図１３に戻り、処理判定部１０５は、静動判定部１０３と連続クリック判定部１０４それぞれでのステップＳ１３の静動判定と連続クリック判定により、注目クリックデータが、連続クリックであり且つ静止クリックであることが判明した場合には、ステップＳ１５に進み、切換選択スイッチ１０６乃至１０８を上述のように制御することにより、静止オブジェクト連結処理部１１１に、静止オブジェクト連結処理を行わせる。また、処理判定部１０５は、注目クリックデータが、連続クリックであり且つ動きクリックであることが判明した場合には、ステップＳ１６に進み、切換選択スイッチ１０６乃至１０８を制御することにより、動きオブジェクト連結処理部１１０に、動きオブジェクト連結処理を行わせる。さらに、処理判定部１０５は、注目クリックデータが、不連続クリックであることが判明した場合には、ステップＳ１４に進み、切換選択スイッチ１０６を制御することにより、オブジェクト番号割り当て部１０９に、新たなオブジェクト番号割り当て処理を行わせる。
【０１５０】即ち、ステップＳ１３において、注目クリックデータが不連続クリックであると判定され、ステップＳ１４の処理に進んだ場合、オブジェクト番号割り当て部１０９は、その注目クリックデータに対して新たなオブジェクト番号を割り当て、ステップＳ１１に戻る。
【０１５１】具体例を挙げて説明すると、例えば図１７（Ａ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が、例えば「０」とされているとした場合において、図１７（Ａ）において点線の×印で示す注目クリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、不連続クリックであると判定されたとき、オブジェクト番号割り当て部１０９は、図１７（Ｂ）中の実線の×印で示す注目クリックデータＣＬ２に対して、新たなオブジェクト番号（この例では「１」）を割り当てる。
【０１５２】一方、ステップＳ１３において、注目クリックデータが、連続クリックであり且つ静止クリックであると判定された場合、静止オブジェクト連結処理部１１１は、前回のクリックが静止クリックとなっており、さらに、注目クリックデータが表すクリック位置が、前回のクリックデータ（あるユーザの、注目クリックデータの１つ前のクリックデータ）に割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近ければ、注目クリックデータに対応するクリックが前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判断し、ステップＳ１５において、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行う。
【０１５３】すなわち、静止オブジェクト連結処理部１１１は、図１８のフローチャートに示すように、先ず、ステップＳ４１として、前回のクリックデータが、連続クリックであり且つ静止クリックであったか否かの判定を行う。このステップＳ４１において、前回のクリックデータが、連続クリックで且つ静止クリックであると判定された場合は、ステップＳ４２の処理に進み、一方、前回のクリックデータが連続クリックで且つ静止クリックでないと判定された場合は、ステップＳ４４の処理に進む。
【０１５４】ステップＳ４１にて前回のクリックデータが連続クリックで且つ静止クリックでないと判定すると、静止オブジェクト連結処理部１１１は、ステップＳ４４の処理として、図１７（Ａ）及び（Ｂ）で説明したのと同様にして、注目クリックデータに対して、新たなオブジェクト番号を割り当てる。このステップＳ４４の処理後は、図１３のステップＳ１７の処理に進む。
【０１５５】また、ステップＳ４１にて前回のクリックデータが、連続クリックで且つ静止クリックであると判定されてステップＳ４２の処理に進むと、静止オブジェクト連結処理部１１１は、注目クリックデータが表すクリック位置と、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域との間の空間的な距離を求める。さらに、静止オブジェクト連結処理部１１１は、この距離に基づいて、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近いかどうかを判定し、その判定結果が真の場合は、注目クリックデータは、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判定する。一方、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成されるオブジェクト画像領域内に含まれず、且つその領域からも遠い場合は、静止オブジェクト連結処理部１１１は、注目クリックデータは、前回のクリックが含まれるものとは異なる別のオブジェクト画像をクリックしたものである判定する。ステップＳ４２において、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定された場合、ステップＳ４３の処理に進み、一方、注目クリックデータが、前回のクリックが含まれるものとは別のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ４４の処理に進む。
【０１５６】ステップＳ４２にて注目クリックデータが、前回のクリックが含まれるものとは別のオブジェクト画像をクリックしたデータであると判定され、ステップＳ４４の処理に進むと、静止オブジェクト連結処理部１１１は、注目クリックデータに対して新たなオブジェクト番号を割り当てた後、図１３のステップＳ１７の処理に進む。
【０１５７】また、ステップＳ４２にて注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定され、ステップＳ４３の処理に進むと、静止オブジェクト連結処理部１１１は、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行う。
【０１５８】具体例を挙げて説明すると、例えば図１７（Ｃ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が例えば「０」とされているとした場合において、図１７（Ｃ）において点線の×印で示す注目クリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、連続クリックで且つ静止クリックであると判定され、前回のクリックが静止クリックとなっており、さらに注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近いとき、静止オブジェクト連結処理部１１１は、図１７（Ｄ）中の実線の×印で示す注目クリックデータＣＬ２に対して、前回のクリックデータと同一のオブジェクト番号（この例では「０」）を割り当てる。
【０１５９】このようにステップＳ４３にて、注目クリックデータに、前回のクリックデータと同一のオブジェクトを割り当てた後は、図１３のステップＳ１７の処理に進む。
【０１６０】また、図１３のステップＳ１３において、注目クリックデータが、連続クリックであり且つ動きクリックであると判定され、前回のクリックが動きクリックとなっており、さらに注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域（１６×１６画素）の特徴に含まれているか又はそれに近い場合、動きオブジェクト連結処理部１１０は、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判断し、ステップＳ１６として、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる動きオブジェクト連結処理を行う。
【０１６１】すなわち、ステップＳ１３において、注目クリックデータが連続クリックであり且つ動きクリックであると判定されたとき、動きオブジェクト連結処理部１１０は、図１９に示すように、先ず、ステップＳ５１として、前回のクリックデータが、連続クリックであり且つ動きクリックであったか否かの判定を行う。このステップＳ５１において、前回のクリックデータが、連続クリックで且つ動きクリックであると判定された場合は、ステップＳ５２の処理に進み、一方、前回のクリックデータが、連続クリックで且つ動きクリックでないと判定された場合は、ステップＳ５４の処理に進む。
【０１６２】ステップＳ５１にて、前回のクリックデータが、連続クリックで且つ動きクリックでないと判定されてステップＳ５４の処理に進むと、動きオブジェクト連結処理部１１０は、図１６（Ａ）及び（Ｂ）で説明したのと同様にして、注目クリックデータに対して新たなオブジェクト番号を割り当てる。このステップＳ５４の処理後は、図１３のステップＳ１７の処理に進む。
【０１６３】また、ステップＳ５１にて、前回のクリックデータが、連続クリックで且つ動きクリックであると判定されてステップＳ５２の処理に進むと、動きオブジェクト連結処理部１１０は、注目クリックデータが表すクリック位置付近の画像領域（１６×１６画素）の特徴と、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴とを求める。さらに、動きオブジェクト連結処理部１１０は、これらの特徴に基づいて、注目クリックデータが表すクリック位置付近の画像領域の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴に含まれているか又はそれに近いかどうかを判定し、その判定結果が真の場合に、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしていると判定する。一方、注目クリックデータが表すクリック位置付近の画像領域の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴に含まれず、且つその特徴からも遠い場合は、動きオブジェクト連結処理部１１０は、注目クリックデータが、前回のクリックとは異なる別オブジェクト画像をクリックしたデータであると判定する。
【０１６４】なお、ここでの画像領域の特徴とは、例えばクリック位置付近の局所領域（１６×１６画素）における色（平均色、代表色など）のヒストグラムや、パターン等のことである。また、上述のように、複数の動きクリックに、同一オブジェクト番号を割り当てるということは、これらのクリックデータの間でオブジェクトのトラッキングをしていると言い換えることができる。
【０１６５】ステップＳ５２において、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ５３の処理に進み、一方、注目クリックデータが、前回のクリックとは別のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ５４の処理に進む。
【０１６６】ステップＳ５２にて、注目クリックデータが、前回のクリックとは別のオブジェクト画像をクリックしたデータであると判定されてステップＳ５４の処理に進むと、動きオブジェクト連結処理部１１０は、上述の場合と同様に、注目クリックデータに対して、新たなオブジェクト番号を割り当てを行い、その後、図１３のステップＳ１７の処理に進む。
【０１６７】また、ステップＳ５２にて、注目クリックデータが、前回の各クリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定されてステップＳ５３の処理に進むと、動きオブジェクト連結処理部１１０は、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる。
【０１６８】具体例を挙げて説明すると、例えば図１７（Ｅ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が、例えば「０」とされているとした場合において、図１７（Ｅ）中点線の×印で示す注目クリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、連続クリックで且つ動きクリックであると判定され、前回のクリックが動きクリックとなっており、さらに注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成されるオブジェクト画像の特徴に含まれているか又はそれに近い場合、動きオブジェクト連結処理部１１０は、図１７（Ｆ）中の実線の×印で示す注目クリックデータＣＬ２に対して、前回のクリックデータと同一のオブジェクト番号（この例では「０」）を割り当てる。
【０１６９】ステップＳ５３にて、注目クリックデータに、前回のクリックデータと同一のオブジェクトを割り当てた後は、図１３のステップＳ１７の処理に進む。
【０１７０】次に、図１３のステップＳ１５からステップＳ１７の処理に進んだ場合、オブジェクト画像抽出部１１３は、オブジェクト番号用メモリ１１２に記憶された、オブジェクト番号が割り当てられた過去数フレーム分に相当する各クリックデータと、画像用メモリ１０１に記憶された過去数フレームの画像データとに基づいて、注目クリックデータに対応するクリックが行われたフレーム（以下、適宜、注目フレームという）の画像データから、静止しているオブジェクト画像（静止オブジェクト画像）、動きのあるオブジェクト画像（動きオブジェクト画像）、それら以外の背景画像を抽出する。すなわち、注目フレームの画像中で、静止クリックと判定されたクリックデータの密度が高い画像部分には、静止オブジェクト画像が存在すると考えられるため、オブジェクト画像抽出部１１３は、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止クリックと判定されたクリックデータの密度（クリック密度）を求め、さらにクリック密度が高い画像部分の中で支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部１１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの分布からオブジェクトの形状を生成（特定）し、生成したオブジェクトの形状内の画像を、静止オブジェクト画像として、注目フレームの画像データから抽出する。
【０１７１】また、ステップＳ１６からステップＳ１７の処理に進んだ場合、オブジェクト画像抽出部１１３は、動きクリックと判定されたクリックデータの中で、同一オブジェクト番号が割り当てられているクリック位置付近の画像どうしのフレーム間パターンマッチング等を行い、動き補償を行った後、パターンマッチングで近似しているとみなされた画像領域においてクリック密度が高く支配的なオブジェクト番号を求める。さらに、オブジェクト画像抽出部１１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、動きオブジェクト画像として、注目フレームの画像データから抽出する。
【０１７２】また、オブジェクト画像抽出部１１３は、ステップＳ１７において、上述した静止クリック、動きクリックと判定されたクリックデータのクリック密度が低い画像部分を注目フレームの背景画像とみなす。言い換えると、オブジェクト画像抽出部１１３は、注目フレームから、静止オブジェクト画像、動きオブジェクト画像が抽出された残りの画像部分を背景画像とする。
【０１７３】ステップＳ１７の処理を詳細に説明すると、オブジェクト画像抽出部１１３は、図２０のフローチャートに示すように、先ず、ステップＳ６１として、オブジェクト番号が割り当てられた過去複数フレーム分に相当する各クリックデータと画像データとを取り込み、各クリックデータを静止クリックと動きクリック毎に分類する。そして、ステップＳ６２において、オブジェクト画像抽出部１１３は、注目クリックデータが、静止クリックまたは動きクリックのいずれであるかを判定し、その判定結果に基づいて、ステップＳ６３またはＳ６４に進む。ここで、図１３のステップＳ１５からステップＳ１７の処理に進んだ場合には、ステップＳ６２からステップＳ６３以降の処理に進むことになり、図１３のステップＳ１６からステップＳ１７の処理に進んだ場合には、ステップＳ６２からステップＳ６４以降の処理に進むことになる。
【０１７４】図１３のステップＳ１５からステップＳ１７の処理に進み、図２０においてステップＳ６２からステップＳ６４以降の処理に進むと、オブジェクト画像抽出部１１３は、先ず、過去複数フレーム分の画像に対し、オブジェクト番号が割り当てられた各クリックデータの中で静止クリックとされているクリックデータの密度（以下、クリック密度と呼ぶ）を、例えば、１６×１６画素のブロック毎に求める。
【０１７５】次に、オブジェクト画像抽出部１１３は、ステップＳ６５として、図２１（Ａ）に示すように、画像内の図中点線で示すような各１６×１６画素のブロックｂｋについて、図中×印で示す静止クリックのクリック密度が所定値以上あるか否かの判定を行う。
【０１７６】ここで、注目フレームの画像中で、静止クリックと判定されたクリックデータの密度が高い画像部分には、静止オブジェクト画像が存在すると考えられる。このため、オブジェクト画像抽出部１１３は、静止クリックのクリック密度が所定値以上となっているブロックについては、ステップＳ６６の処理を行い、一方、静止クリックのクリック密度が所定値未満となっているブロックについては、ステップＳ７０の処理を行う。
【０１７７】ステップＳ６６の処理に進むと、オブジェクト画像抽出部１１３は、静止クリックのクリック密度が所定値以上となっているブロックについて、図２１（Ｂ）に示すように、ブロック内の各クリックデータに割り当てられているオブジェクト番号のうちで発生頻度が最も高い支配的なオブジェクト番号を求め、さらに図２１（Ｃ）に示すように、それぞれ支配的なオブジェクト番号が同じとなるブロック（ＢＫ０、ＢＫ２、ＢＫ４、ＢＫ５）をまとめてオブジェクトの形状を生成する。そして、オブジェクト画像抽出部１１３は、生成したオブジェクトの形状に基づき、静止オブジェクト画像を、注目フレームの画像データから抽出する。このステップＳ６６の処理後は、図１３のステップＳ１１の処理に戻る。
【０１７８】一方、図１３のステップＳ１６からステップＳ１７の処理に進み、図２０においてステップＳ６２からステップＳ６３以降の処理に進むと、オブジェクト画像抽出部１１３は、図２１（Ｄ）に示すように、過去複数フレーム分の画像において、図中×印で示す各動きクリックとされているクリックデータのうち、それぞれ同じオブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチングを行い、さらに動き補償を行う。
【０１７９】次いで、オブジェクト画像抽出部１１３は、ステップＳ６７として、パターンマッチングで近似しているとみなされた画像領域内の動きクリックのクリック密度を求める。
【０１８０】その後、オブジェクト画像抽出部１１３は、ステップＳ６８として、図２１（Ｄ）に示すように、画像内において図中×印で示す動きクリックのクリック密度が、所定値以上あるか否かの判定を行う。
【０１８１】ここで、動き補償を行った後において、動きクリックと判定されたクリックデータの密度が高い画像部分には、動きオブジェクト画像が存在すると考えられる。このため、オブジェクト画像抽出部１１３は、動き補償後の画像において動きクリックのクリック密度が所定値以上となっている画像領域については、ステップＳ６９の処理を行い、一方、動きクリックのクリック密度が所定値未満となっている画像領域については、ステップＳ７０の処理を行う。
【０１８２】ステップＳ６９の処理に進むと、オブジェクト画像抽出部１１３は、動きクリックのクリック密度が所定値以上となっている画像領域について、各クリックデータに割り当てられているオブジェクト番号のうちで発生頻度が最も高い支配的なオブジェクト番号を求め、さらに図２１（Ｅ）に示すように、それぞれ支配的なオブジェクト番号が同じとなるブロック（ＢＫ３，ＢＫ６）をまとめてオブジェクトの形状を生成する。そして、オブジェクト画像抽出部１１３は、生成したオブジェクトの形状に基づき、動きオブジェクト画像を、注目フレームの画像データから抽出する。このステップＳ６９の処理後は、図１３のステップＳ１１の処理に戻る。
【０１８３】なお、ステップＳ６５またはステップＳ６８において、クリック密度が所定値未満と判定されたとき、すなわち、静止クリックまたは動きクリックのクリック密度が低いとき、ステップＳ７０に進み、そのようなクリック密度の低い画像部分に対応する注目フレームの領域は、背景画像領域として扱われる。言い換えると、オブジェクト画像抽出部１１３は、注目フレームから、静止オブジェクト画像、動きオブジェクト画像が抽出された残りの画像部分を背景画像とする。このステップＳ７０の処理後は、図１３のステップＳ１１の処理に戻る。
【０１８４】図１３のステップＳ１１に戻った後は、以下、同様の処理を繰り返す。
【０１８５】次に、図２２は、図９の第２オブジェクト抽出装置８２の構成例を示している。
【０１８６】第２オブジェクト抽出装置８２は、意図検出部１２０とオブジェクト抽出部１２５から構成されており、意図検出部１２０は、動き解析部１２１、動きデータベース１２２、意図解析部１２３、および動き対意図関係データベース１２４から構成され、クリックデータに基づいて、ユーザの意図を検出するようになっている。
【０１８７】動き解析部１２１は、クリックデータベース７３（図８）からユーザのクリックデータを読み出し、そのクリックデータに基づいて、ユーザがクリックした位置の動きを解析する。なお、動き解析部１２１は、ユーザによるクリック位置の動き（以下、適宜、クリック動きという）の解析を、動きデータベース１２２を参照しながら行い、その解析結果を、意図解析部１２３に供給するようになっている。
【０１８８】動きデータベース１２２は、クリック動きを解析するのに必要な情報を記憶している。
【０１８９】意図解析部１２３は、動き解析部１２１からのクリック動きの解析結果（以下、適宜、クリック動き解析情報という）に基づき、クリックを行ったユーザの意図を解析する。なお、意図解析部１２３は、ユーザの意図の解析を、動き対意図関係データベース１２４を参照しながら行い、その解析結果（以下、意図情報という）を、オブジェクト抽出部１２５に供給するようになっている。
【０１９０】動き対意図関係データベース１２４は、クリック動きと、そのクリック動きが生じた場合に推定されるユーザの意図との対応関係を記憶している。
【０１９１】オブジェクト抽出部１２５は、クリックデータベース７３（図８）からクリックデータを読み出すとともに、画像データベース７６から画像データを読み出し、クリックデータに基づき、意図解析部１２３からのユーザの意図情報を考慮して、画像データからオブジェクトを抽出する。オブジェクト抽出部１２５によるオブジェクトの抽出結果は、画像加工部７５（図８）に供給されるようになっている。
【０１９２】次に、図２３のフローチャートを参照して、意図検出部１２０による、クリックデータに基づくユーザの意図の検出処理（意図検出処理）について説明する。
【０１９３】まず最初に、ステップＳ８１において、動き解析部１２１は、注目している注目ユーザのクリックデータすべてを、クリックデータベース７３から読み出すことにより取得し、ステップＳ８２に進む。ステップＳ８２では、動き解析部１２１は、ステップＳ８１で取得した注目ユーザのすべてのクリックデータを時系列に並べたものから、任意の範囲の（任意の始点から任意の終点までの）時系列のクリックデータの集合（以下、適宜、順列集合という）を抽出し、ステップＳ８３に進む。
【０１９４】ここで、ステップＳ８２では、クリックデータについて、１つの順列集合だけでなく、複数の順列集合（範囲の異なる時系列のクリックデータの集合）を構成するようにすることが可能である。ステップＳ８２において、複数の順列集合を構成する場合には、以降の処理は、その複数の順列集合それぞれについて行われる。
【０１９５】ステップＳ８３では、動き解析部１２１は、クリックデータの順列集合を用い、動きデータベース１２２を参照して、クリック動きを解析し、ステップＳ８４に進む。ステップＳ８４では、動き解析部１２１は、クリック動きの解析結果に基づいて、クリック動きが不明かどうか、即ち、クリック動きが、動きデータベース１２２に登録された所定のものでないかどうかを判定する。
【０１９６】ステップＳ８４において、クリック動きが不明であると判定された場合、ステップＳ８５およびＳ８６をスキップして、処理を終了する。従って、この場合、クリック動きの解析結果としてのクリック動き解析情報は、意図解析部１２３に供給されない。
【０１９７】一方、ステップＳ８４において、クリック動きが不明でないと判定された場合、動き解析部１２１は、そのクリック動きの解析結果としてのクリック動き解析情報を、意図解析部１２３に供給して、ステップＳ８５に進む。
【０１９８】意図解析部１２３は、ステップＳ８５において、動き解析部１２１からクリック動き解析情報を受信し、そのクリック動き解析情報に基づいて、ユーザの意図を解析する。そして、ステップＳ８６に進み、意図解析部１２３は、ステップＳ８６におけるユーザの意図の解析結果としての意図情報を、オブジェクト抽出部１２５に出力し、処理を終了する。
【０１９９】なお、図２３の意図検出処理は、例えば、クリックデータベース７３（図８）に、注目ユーザからの、新たなクリックデータが記憶されるごとに行われる。
【０２００】次に、図２４のフローチャートを参照して、図２２の動き解析部１２１が行う、図２３のステップＳ８３におけるクリック動きの解析処理（クリック動き解析処理）について説明する。
【０２０１】動き解析部１２１は、まず最初に、ステップＳ９１において、動きデータベース１２２に記憶されている、あるクリック動きの評価方法と評価条件を取得する。
【０２０２】即ち、動きデータベース１２２は、複数のクリック動きについて、その評価方法と評価条件を記憶している。具体的には、動きデータベース１２２は、例えば、ユーザによるクリック位置の動き（変化）が、直線的であるもの、円運動的であるもの、いわゆるブラウン運動的であるもの等について、例えば、図２５および図２６に示すような評価方法と評価条件を記憶している。
【０２０３】クリック動きが、直線的な動き（以下、適宜、直線動きという）であるかどうかの評価方法としては、例えば、図２５（Ａ）に示すように、連続する２つのクリック位置（図２５において、○印で示す部分）を、そのクリック順に接続して得られるベクトル（以下、適宜、移動ベクトルという）を用い、ある移動ベクトルと、次の移動ベクトルとがなす角θを用いることが、動きデータベース１２２に記憶されている。
【０２０４】また、クリック動きが、円運動的な動き（以下、適宜、円運動という）であるかどうかの評価方法としては、例えば、図２５（Ｂ）に示すように、直線動きでない場合に、順列集合を構成するクリックデータの始点Ｓと終点Ｅ（図２５（Ｂ）において、×印で示す部分）との間の距離ＤSEを用いることが、動きデータベース１２２に記憶されている。
【０２０５】さらに、クリック動きが、ブラウン運動的な動き（以下、適宜、ブラウン運動という）であるかどうかの評価方法としては、例えば、図２５（Ｃ）に示すように、順列集合を構成するクリックデータの隣接するものどうしの距離と、その始点Ｓと終点Ｅ（図２５（Ｃ）において、×印で示す部分）との間の距離ＤSEを用いることが、動きデータベース１２２に記憶されている。
【０２０６】また、クリック動きが、直線動き、円運動、ブラウン運動等であるかどうかの評価条件としては、例えば、図２６に示すようなものが、動きデータベース１２２に記憶されている。
【０２０７】即ち、図２６の実施の形態においては、クリック動きが直線動きであると評価（解析）されるためには、移動ベクトルどうしのなす角θが、所定の閾値（例えば、３０度など）以下であるという評価条件を満たすことが必要であることになっている。
【０２０８】また、クリック動きが円運動であると評価されるためには、順列集合を構成する複数のクリックデータが、ある位置から移動して、その元の位置に戻ってくるような軌跡を描いているという評価条件を満たすことが必要であることになっている。なお、この評価条件を満たすかどうかは、例えば、クリック動きが直線動きでないこと、および順列集合を構成するクリックデータの始点Ｓと終点Ｅとの間の距離ＤSE（図２５（Ｂ））が所定の閾値以下であること、という２つの条件を満たすかどうかによって判断することができる。
【０２０９】さらに、クリック動きがブラウン運動と評価されるためには、順列集合を構成する複数のクリックデータが、その数（従って、クリックされた位置の数）に対して、始点Ｓから終点Ｅまでの距離が短いという評価条件を満たすことが必要であることになっている。なお、この評価条件を満たすかどうかは、クリック動きが円運動でないこと、および順列集合を構成する、隣接する（連続する）２つのクリックデータが表すクリック位置どうしの距離の総和に対して、その始点Ｓと終点Ｅとの間の距離ＤSE（図２５（Ｃ））が、十分に短いこと、という２つの条件を満たすかどうかによって判断することができる。
【０２１０】図２４に戻り、ステップＳ９１では、動き解析部１２１は、動きデータベース１２２に記憶されている、上述のような複数のクリック動きについての評価方法と評価条件のうち、所定のクリック動きについてのものを取得する。ここで、以下、適宜、ステップＳ９１で取得された、あるクリック動きについての評価方法と評価条件を、それぞれ、注目評価方法と注目評価条件という。
【０２１１】その後、ステップＳ９２に進み、動き解析部１２１は、注目評価方法にしたがい、クリックデータの順列集合から、評価値を算出する。
【０２１２】即ち、注目評価方法が、例えば、クリック動きが直線動きであるかどうかを評価するものである場合には、図２５（Ａ）および図２６で説明したなす角θが、評価値となるため、動き解析部１２１は、クリックデータの順列集合について、移動ベクトルを求め、さらに、すべての移動ベクトルについて、なす角θを、評価値として求める。
【０２１３】また、注目評価方法が、例えば、クリック動きが円運動であるかどうかを評価するものである場合には、図２５（Ｂ）および図２６で説明したクリックデータの始点Ｓと終点Ｅとの距離ＤSEが、評価値となるため、動き解析部１２１は、クリックデータの順列集合から、始点Ｓとなっているクリックデータと、終点Ｅとなっているクリックデータを検出し、その間の距離ＤSEを、評価値として求める。
【０２１４】さらに、注目評価方法が、例えば、クリック動きがブラウン運動であるかどうかを評価するものである場合には、図２５（Ｃ）および図２６で説明したクリックデータの始点Ｓと終点Ｅとの距離ＤSE、およびクリックデータの順列集合の連続する２つのクリックデータの距離の総和Σが、評価値となるため、動き解析部１２１は、クリックデータの順列集合から、その距離ＤSEと、総和Σを、評価値として求める。
【０２１５】ステップＳ９２において、評価値を算出した後は、ステップＳ９３に進み、動き解析部１２１は、評価値が、注目評価条件に適合するかどうか（注目評価条件を満たすかどうか）を判定する。
【０２１６】即ち、例えば、クリック動きが直線動きであるかどうかを評価する場合には、図２６で説明したように、隣接する移動ベクトルどうしがなす角θが、すべての所定の閾値以下であるかどうかが判定される。
【０２１７】また、例えば、クリック動きが円運動であるかどうかを評価する場合には、図２６で説明したように、クリック動きが円運動でなく、かつ、クリックデータの始点Ｓと終点Ｅとの距離ＤSEが所定の閾値以下であるかどうかが判定される。
【０２１８】さらに、例えば、クリック動きがブラウン運動であるかを評価する場合には、図２６で説明したように、クリック動きが円運動でなく、かつ、クリックデータの始点Ｓと終点Ｅとの距離ＤSEが、クリックデータの順列集合の連続する２つのクリックデータの距離の総和Σよりも十分小さいかどうかが判定される。
【０２１９】ステップＳ９３において、評価値が、注目評価条件に適合すると判定された場合、ステップＳ９４に進み、動き解析部１２１は、注目評価方法および注目評価条件に対応するクリック動きを表す情報を、クリック解析情報として、意図解析部１２３に出力し、処理を終了する。
【０２２０】一方、ステップＳ９３において、評価値が、注目評価条件に適合しないと判定された場合、ステップＳ９５に進み、動き解析部１２１は、まだ用いていない評価方法および評価条件が、動きデータベース１２２に記憶されているかどうかを判定する。
【０２２１】ステップＳ９５において、まだ用いていない評価方法および評価条件が、動きデータベース１２２に記憶されていると判定された場合、ステップＳ９１に戻り、その、まだ用いていない評価方法および評価条件のうちのいずれか１セットを、動きデータベース１２２から読み出し、以下、同様の処理を繰り返す。
【０２２２】また、ステップＳ９５において、まだ用いていない評価方法および評価条件が、動きデータベース１２２に記憶されていないと判定された場合、動き解析部１２１は、クリック動きが不明であるとして、処理を終了する。
【０２２３】なお、図２４の実施の形態においては、動きデータベース１２２に記憶された複数の評価方法および評価条件を、順次、注目評価方法および注目評価条件として、逐次、処理を行うようにしたが、その他、例えば、動きデータベース１２２に記憶された複数の評価方法および評価条件それぞれについて、並列に処理を行うようにすることも可能である。
【０２２４】さらに、図２４の実施の形態では、上述のように、ある評価条件に適合した時点で、その評価条件に対応するクリック動きが、クリック解析情報とされるが、その他、例えば、動きデータベース１２２に記憶された複数の評価方法および評価条件すべてについて処理を行い、その処理結果に基づいて、最終的に最も確からしいクリック動きを表す情報を、クリック解析情報として出力するようにすることも可能である。
【０２２５】次に、図２７のフローチャートを参照し、図２４のステップＳ９１において、例えば、直線動きの評価方法と評価条件が、それぞれ、注目評価方法と注目評価条件とされた場合のステップＳ９２およびＳ９３の処理について、さらに詳述する。
【０２２６】まず最初に、ステップＳ１０１において、動き解析部１２１は、クリックデータの順列集合における隣接するクリックデータを、そのクリック順に結ぶ移動ベクトルを算出し、ステップＳ１０２に進む。ここで、クリックデータの順列集合におけるｉ番目のクリックデータと、ｉ＋１番目のクリックデータとを結ぶ移動ベクトルを、以下、適宜、ｖiと記述する。
【０２２７】ステップＳ１０２では、動き解析部１２１は、移動ベクトルｖiを特定するインデックスとなる変数ｉを１に初期化し、ステップＳ１０３に進む。ステップＳ１０３では、動き解析部１２１は、移動ベクトルｖiとｖi+1とがなす角θを求め、ステップＳ１０４に進み、そのなす角θが、所定の閾値ε以下であるかどうかを判定する。
【０２２８】ステップＳ１０４において、なす角θが、閾値ε以下でないと判定された場合、ステップＳ１０８に進み、動き解析部１２１は、クリック動きが「直線動き」に適合しないと認識して、処理を終了する。
【０２２９】また、ステップＳ１０４において、なす角θが、閾値ε以下であると判定された場合、ステップＳ１０５に進み、動き解析部１２１は、変数ｉを１だけインクリメントし、ステップＳ１０６に進む。
【０２３０】ステップＳ１０６では、動き解析部１２１は、変数ｉが、順列集合を構成するクリックデータの数に等しいかどうかを判定し、等しくないと判定した場合、ステップＳ１０３に戻り、以下、同様の処理を繰り返す。
【０２３１】また、ステップＳ１０６において、変数ｉが、順列集合を構成するクリックデータの数に等しいと判定された場合、従って、クリックデータの順列集合から構成される移動ベクトルの隣接するものどうしのなす角θが、すべて閾値ε以下である場合、ステップＳ１０７に進み、動き解析部１２１は、クリック動きが「直線動き」に適合すると認識して、処理を終了する。
【０２３２】なお、図２７のステップＳ１０１乃至Ｓ１０３の処理が、図２４のステップＳ９２の処理に対応し、図２７のステップＳ１０４乃至Ｓ１０８の処理が、図２４のステップＳ９３の処理に対応する。
【０２３３】次に、図２８のフローチャートを参照して、図２２の意図解析部１２３が行う、図２３のステップＳ８５における意図解析処理について説明する。
【０２３４】まず最初に、ステップＳ１１１において、意図解析部１２３は、動き解析部１２１から供給されるクリック動き解析情報を受信し、ステップＳ１１２に進む。ステップＳ１１２では、意図解析部１２３は、画像の静動判定を行う。
【０２３５】ここで、ステップＳ１１２における静動判定では、第１オブジェクト抽出装置８１を構成する、図１２に示したオブジェクト抽出部９４の静動判定部１０３が行うのと同様の処理が、順列集合を構成するクリックデータを順次、注目クリックデータとして行われる。そして、動きクリックとされたクリックデータの方が、静止クリックされたクリックデータより多い場合には、順列集合を構成するクリックデータは、画像の動き部をクリックしたものであると判定され、逆に、静止クリックとされたクリックデータの方が多い場合には、順列集合を構成するクリックデータは、画像の静止部をクリックしたものであると判定される。
【０２３６】その後、ステップＳ２８に進み、意図解析部１２３は、動き対意図関係データベース１２４を参照し、動き解析部１２１から受信した動き解析情報と、ステップＳ１１２で得た静動判定結果を検索する。
【０２３７】即ち、動き対意図関係データベース１２４には、例えば、図２９に示すように、動き解析情報が表すクリック動き、および静動判定結果と、それらのクリック動きおよび静動判定結果から推定される、ユーザがクリックを行った意図を表す意図情報とが対応付けられて記憶されている。
【０２３８】ステップＳ２８では、このような動き対意図関係データベース１２４から、動き解析部１２１から受信した動き解析情報と、ステップＳ１１２で得た静動判定結果との組が検索され、さらに、その組に対応付けられている意図情報が読み出される。
【０２３９】ここで、図２９の実施の形態では、クリック動きが直線動きで、クリックされた画像が動き部である場合には、ユーザによるクリックは、ある動きのあるオブジェクトをトラッキング（追跡）する意図があるとされている。また、クリック動きが円運動またはブラウン運動で、クリックされた画像が静止部である場合には、ユーザによるクリックは、ある静止しているオブジェクトを注視する意図があるとされている。
【０２４０】図２８に戻り、ステップＳ２８において、動き対意図関係データベース１２４から、意図情報が読み出された後は、ステップＳ２９に進み、意図解析部１２３は、その意図情報を、オブジェクト抽出部１２５（図２２）に出力し、処理を終了する。
【０２４１】なお、動き解析部１２１から受信した動き解析情報と、ステップＳ１１２で得た静動判定結果との組が、動き対意図関係データベース１２４に登録されていない場合には、ステップＳ２８において検索を行うことができないが、その場合には、意図解析部１２３は、ユーザの意図が不明である旨の意図情報を、オブジェクト抽出部１２５に出力する。
【０２４２】また、図２８の実施の形態では、動き解析情報と、静動判定結果に基づいて、ユーザの意図を推定するようにしたが、ユーザの意図は、その他、動き解析情報にのみ基づいて推定することも可能である。
【０２４３】但し、動き解析情報だけに基づいて、ユーザの意図を推定する場合においては、複数の意図が推定される場合があり、基本的には、その複数の意図から、最も確からしいものを決定するのが望ましい。そこで、ユーザの意図が複数推定される場合においては、上述したように、動き解析情報だけでなく、静動判定結果等をも用いることで、より確からしい意図を推定することが可能となる。
【０２４４】即ち、例えば、何人かのユーザに、ある意図を持ってクリックを行ってもらう実験を行い、その実験によって、複数の意図が推定される動き解析情報については、上述の静動判定等を組み合わせ、意図の場合分けの細分化を行っておき、その細分化結果を、動き対意図関係データベース１２４に登録しておくことで、より確からしい意図を推定することが可能となる。
【０２４５】以上のような意図情報を、意図解析部１２３から受信したオブジェクト抽出部１２５は、その意図情報を考慮して、画像データベース７６（図８）に記憶された画像から、オブジェクトを抽出する。
【０２４６】即ち、意図情報が、例えば、動いているオブジェクトをトラッキングする意図を表している場合には、オブジェクト抽出部１２５は、クリックデータベース７３（図８）に記憶されたクリックデータに対応するクリック位置付近に、同一物体についてのオブジェクトがあると認識し、例えば、複数フレームについて、そのクリック位置付近においてブロックマッチング等を行うことで、その同一物体についてのオブジェクトを抽出する。
【０２４７】あるいは、また、意図情報が、静止しているオブジェクトを注視する意図を表している場合には、オブジェクト抽出部１２５は、クリックデータベース７３に記憶されたクリックデータが表す各クリック位置にある画素の周辺において、その画素と同様の色を有する画素を検出し、その検出した画素からなる領域を、オブジェクトとして抽出する。
【０２４８】なお、ここでは、意図情報に基づいて、オブジェクトを抽出するようにしたが、意図情報は、オブジェクト抽出以外の画像処理において、その処理を行うにあたって参考にすることができる。
【０２４９】即ち、図３０乃至図３６は、クリックを行った位置の解像度が高くなるという条件で行ったシミュレーション結果を示している。なお、図３０乃至図３３、並びに図３５および図３６は、シミュレーション結果としての画像を、模式的に表している。
【０２５０】図３０乃至図３３は、自動車のおもちゃが、画面の左から右方向に直線的に移動している様子を表示する動画を示しており、さらに、図３１乃至図３３においてＬ１で示す線は、ユーザがクリックを行ったクリック位置を時系列に結んだの軌跡を示している。上述の意図検出処理（図２３）によれば、図３０乃至図３３から、ユーザが、動いている自動車のおもちゃのオブジェクト画像をトラッキングしようとしている意図があることを認識することができる。
【０２５１】一方、図３４は、図３０乃至図３３に示した自動車のおもちゃのオブジェクト画像の所定の点の座標と、その座標の変化としての動きベクトル、およびユーザがクリックを行った点（クリック点）の座標と、その座標の変化としての移動ベクトルを示している。
【０２５２】図３４から、移動ベクトルは、動きベクトルと似ており、従って、ユーザが、オブジェクト画像をトラッキングしようとしている意図がある場合には、移動ベクトルに基づいて、動きベクトルの検出のためのブロックマッチングの範囲を選択することができる。即ち、ユーザがオブジェクトをトラッキングしようとしている意図を表す意図情報は、動きベクトルを検出する処理を行うにあたって、その処理のための補助的な情報として用いることができる。
【０２５３】図３５および図３６は、複数のオブジェクトが表示された画像を、模式的に表しており、さらに、図３５および図３６においてＬ２で示す線は、ユーザがクリックを行ったクリック位置を時系列に結んだ軌跡を示している。上述の意図検出処理（図２３）によれば、図３５または図３６から、ユーザが、画面右下にある、静止している物体のオブジェクト画像を注視しようとしている意図があることを認識することができる。
【０２５４】この場合、図３６に示すように、クリック位置を中心とする所定の範囲には、オブジェクト画像が含まれる。従って、ユーザがオブジェクトを注視しようとしている意図を表す意図情報は、オブジェクトを抽出する処理を行うにあたって、その処理のための補助的な情報として用いることができる。
【０２５５】即ち、ユーザがオブジェクトを注視しようとしている意図を有する場合には、クリック位置にオブジェクトが存在することが推測されるから、クリック位置付近にオブジェクトが存在することが分かり、その結果、クリック位置と同じような色の部分をオブジェクトとして抽出する方法であっても、異なる複数の色を有しているオブジェクトを、精度良く抽出することが可能となる。また、図３６において、点線の正方形は、クリック位置を中心とする正方形であるが、このような正方形の領域を抽出することにより、静止しているオブジェクトの概形を得ることができる。
【０２５６】以上のように、意図情報は、各種の画像処理を行うにあたって、補助的な情報として用いることができ、その結果、画像処理の精度を向上させることができる。
【０２５７】なお、意図解析部１２３で得られた意図情報は、第１オブジェクト抽出装置８１におけるオブジェクト抽出処理の補助的な情報としても用いることが可能である。即ち、第１オブジェクト抽出装置８１では、上述したように、クリック密度の高い部分がオブジェクトとして抽出されるが、このことは、逆に言えば、オブジェクトの領域であっても、クリック密度が低い領域が、オブジェクトとして抽出されないことが生じ得ることを意味する。そこで、ユーザがオブジェクトを注視しようとしている意図がある場合には、クリック密度が低い領域であっても、例外的に、オブジェクトとして抽出するようにすることで、より精度の高いオブジェクト抽出が可能となる。
【０２５８】また、第１オブジェクト抽出装置８１や第２オブジェクト抽出装置８２では、各ユーザのクリックデータを、ユーザごとに個別に処理するのではなく、複数のユーザのクリックデータをまとめて（複数のユーザのクリックデータを、一人のユーザのクリックデータとみなして）処理するようにすることが可能である。
【０２５９】さらに、本発明は、画像を、通信により提供するネットワークシステムの他、GUI(Graphical User Interface)等の画像を媒介としたユーザインタフェース等に適用することが可能である。本発明を、GUIに適用した場合、ユーザの意図に応じて、大きさや解像度等の異なるアイコンを表示する等の、ユーザの意図に適合した画像処理を行うことが可能となる。
【０２６０】
【発明の効果】本発明の画像処理装置および画像処理方法、並びにプログラムによれば、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きが解析され、その動きの解析結果に基づいて、ユーザの意図が解析される。そして、そのユーザの意図の解析結果に基づいて、画像データが処理される。従って、例えば、オブジェクトの抽出等を精度良く行うことが可能となる。
【０２６１】本発明のデータは、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析し、動きの解析結果に基づいて、ユーザの意図を解析し、意図の解析結果に基づいて、画像データを処理することにより得られるものであるので、例えば、精度良くオブジェクト抽出された画像となっている。
【図面の簡単な説明】
【図１】本発明を適用したネットワークシステムの一実施の形態の構成例を示す図であある。
【図２】携帯端末１の外観構成例を示す斜視図である。
【図３】携帯端末１のカメラ部１５を回動した状態を示す斜視図である。
【図４】携帯端末１の電気的構成例を示すブロック図である。
【図５】コンテンツサーバ７のハードウェア構成例を示すブロック図である。
【図６】コンテンツサーバ７が提供する画像データを説明する図である。
【図７】コンテンツサーバ７が提供する画像データを説明する図である。
【図８】画像データを提供するコンテンツサーバ７の機能的構成例を示すブロック図である。
【図９】クリックデータ処理部７４の構成例を示すブロック図である。
【図１０】第１オブジェクト抽出装置８１の構成例を示すブロック図である。
【図１１】第１オブジェクト抽出装置８１の処理を説明するフローチャートである。
【図１２】オブジェクト抽出部９４の構成例を示すブロック図である。
【図１３】動きオブジェクト画像および静止オブジェクト画像の抽出処理を説明するフローチャートである。
【図１４】静動判定処理を説明するフローチャートである。
【図１５】フレーム間差分の計算方法を説明する図である。
【図１６】連続クリック判定処理を説明するフローチャートである。
【図１７】オブジェクト番号の付け方を説明する図である。
【図１８】静止オブジェクト連結処理を説明するフローチャートである。
【図１９】動きオブジェクト連結処理を説明するフローチャートである。
【図２０】オブジェクト抽出処理を説明するフローチャートである。
【図２１】オブジェクト抽出方法を説明する図である。
【図２２】第２オブジェクト抽出装置８２の構成例を示すブロック図である。
【図２３】第２オブジェクト抽出装置８２による意図検出処理を説明するフローチャートである。
【図２４】クリック動き解析処理を説明するフローチャートである。
【図２５】クリック動きの評価方法を示す図である。
【図２６】クリック動きの評価条件を説明する図である。
【図２７】クリック動きが直線動きであるかどうかを評価する処理を説明するフローチャートである。
【図２８】意図解析処理を説明するフローチャートである。
【図２９】動き対意図関係データベース１２４の記憶内容を示す図である。
【図３０】シミュレーション結果を示す模式図である。
【図３１】シミュレーション結果を示す模式図である。
【図３２】シミュレーション結果を示す模式図である。
【図３３】シミュレーション結果を示す模式図である。
【図３４】シミュレーションで得られた動きベクトルと移動ベクトルとを示す図である。
【図３５】シミュレーション結果を示す模式図である。
【図３６】シミュレーション結果を示す模式図である。
【符号の説明】
１1乃至１A 携帯端末， ２1乃至２B 基地局， ３ 公衆回線網， ４1乃至４C ＷＷＷサーバ， ５ インターネット， ６ アクセスサーバ， ７コンテンツサーバ， ８ 管理制御装置， １１ ヒンジ部， １２ 表示部，１３ 本体， １４ アンテナ， １５ カメラ部， １６ ＣＣＤカメラ，１７ スピーカ， １８ 液晶ディスプレイ， １９ 操作キー， １０ メモボタン， ２１ マイクロフォン， ２２ トラックボール， ２３ メモリカード， ２４ メモリスティックスロット， ３０ 主制御部， ３１ 電源回路部， ３２ 操作入力制御部， ３３ 画像エンコーダ， ３４ カメラＩ／Ｆ， ３５ ＬＥＤ制御部， ３６ 画像デコーダ， ３７ 多重分離部，３８ 変復調回路部， ３９ 音声コーデック， ４０ メインバス， ４１同期バス， ４２ 記録再生部， ４３ 送受信回路部， ５１ バス， ５２CPU， ５３ ROM， ５４ RAM， ５５ ハードディスク， ５６ 出力部， ５７ 入力部， ５８ 通信部， ５９ ドライブ， ６０ 入出力インタフェース， ６１ リムーバブル記録媒体， ７１ 送受信制御部， ７２ 登録部， ７３ クリックデータベース， ７４ クリックデータ処理部， ７５画像加工部， ７６ 画像データベース， ８１ 第１オブジェクト抽出装置， ８２ 第２オブジェクト抽出装置， ９１ クリックデータ読み出し部，９２ 画像データ読み出し部， ９３ 背景抽出部， ９４ オブジェクト抽出部， ９５ 付加情報算出部， ９６ 多重化処理部， １０１ 画像用メモリ， １０２ クリックデータ用メモリ， １０３ 静動判定部， １０４ 連続クリック判定部， １０５ 処理判定部， １０６乃至１０８ 切換選択スイッチ， １０９ オブジェクト番号割り当て部， １１０ 動きオブジェクト連結処理部， １１１ 静止オブジェクト連結処理部， １１２ オブジェクト番号用メモリ， １１３ オブジェクト画像抽出部， １１４ オブジェクト抽出結果用メモリ， １２０ 意図検出部， １２１ 動き解析部， １２２ 動きデータベース， １２３ 意図解析部， １２４ 動き対意図関係データベース，１２５ オブジェクト抽出部
【０００１】
【発明の属する技術分野】本発明は、画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータおよびデータ記録媒体に関し、ユーザの意図を考慮して、画像データを処理することができるようにすることにより、例えば、ユーザの意図により適合した画像処理や、より精度の高い画像処理等を行うことができるようにする画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータおよびデータ記録媒体に関する。
【０００２】
【従来の技術】例えば、画像から、オブジェクトを抽出する方法としては、隣接フレーム間の差分をとり、差分の絶対値が大きい部分を、動きのあるオブジェクトとして抽出したり、同一フレームにおいて、同じような色の部分を、オブジェクトとして抽出する方法等がある。
【０００３】
【発明が解決しようとする課題】しかしながら、隣接フレーム間の差分をとる方法では、動きのないオブジェクト等を、精度良く抽出することは困難である。また、同じような色の部分を、オブジェクトとして抽出する方法では、異なる複数の色を有しているオブジェクト等を、精度良く抽出することは困難である。
【０００４】本発明は、このような状況に鑑みてなされたものであり、オブジェクトの抽出その他の画像処理を精度良く行うこと等ができるようにするものである。
【０００５】
【課題を解決するための手段】本発明の画像処理装置は、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析する動き解析手段と、動き解析手段による解析結果に基づいて、ユーザの意図を解析する意図解析手段と、意図解析手段による解析結果に基づいて、画像データを処理する処理手段とを備えることを特徴とする。
【０００６】本発明の画像処理方法は、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析する動き解析ステップと、動き解析ステップによる解析結果に基づいて、ユーザの意図を解析する意図解析ステップと、意図解析ステップによる解析結果に基づいて、画像データを処理する処理ステップとを備えることを特徴とする。
【０００７】本発明のプログラムは、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析する動き解析ステップと、動き解析ステップによる解析結果に基づいて、ユーザの意図を解析する意図解析ステップと、意図解析ステップによる解析結果に基づいて、画像データを処理する処理ステップとを備えることを特徴とする。
【０００８】本発明のプログラム記録媒体は、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析する動き解析ステップと、動き解析ステップによる解析結果に基づいて、ユーザの意図を解析する意図解析ステップと、意図解析ステップによる解析結果に基づいて、画像データを処理する処理ステップとを備えるプログラムが記録されていることを特徴とする。
【０００９】本発明のデータは、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析し、動きの解析結果に基づいて、ユーザの意図を解析し、意図の解析結果に基づいて、画像データを処理することにより得られることを特徴とする。
【００１０】本発明のデータ記録媒体は、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析し、動きの解析結果に基づいて、ユーザの意図を解析し、意図の解析結果に基づいて、画像データを処理することにより得られるデータが記録されていることを特徴とする。
【００１１】本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きが解析され、その動きの解析結果に基づいて、ユーザの意図が解析される。そして、そのユーザの意図の解析結果に基づいて、画像データが処理される。
【００１２】本発明のデータは、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析し、動きの解析結果に基づいて、ユーザの意図を解析し、意図の解析結果に基づいて、画像データを処理することにより得られる。
【００１３】
【発明の実施の形態】図１は、本発明を適用したネットワークシステム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００１４】複数の携帯端末１1，１2，・・・，１Aは、無線通信が可能な、例えば、携帯電話機や、ＰＨＳ(Personal Handyphone System)（商標）、ＰＤＡ(Personal Digital Assistants)等で構成されている。
【００１５】基地局２1，２2，・・・，２Bは、通信サービスの提供エリアを所望の大きさに分割したセル内にそれぞれ設置された固定無線局であり、移動無線局である携帯端末１1，１2，・・・，１Aは、それが存在するセルを担当する基地局に無線接続されるようになっている。
【００１６】なお、本実施の形態では、基地局２1乃至２B（以下、特に区別する必要がない限り、基地局２と記述する）と、携帯端末１1乃至１A（以下、特に区別する必要がない限り、携帯端末１と記述する）との間では、例えば、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）と呼ばれる符号分割多元接続方式によって無線通信が行われるようになっており、これにより、２ＧＨｚの周波数帯域を使用して、最大で２Ｍｂｐｓのデータ転送速度で、大容量のデータを高速にやりとりすることができるようになっている。このように、高速かつ大容量のデータ通信が可能であることにより、携帯端末１では、音声通話は勿論、電子メールの送受信、Webページの閲覧、画像の送受信等の多種多様のデータのやりとりを行うことができるようになっている。
【００１７】基地局２は、有線回線を介して、公衆回線網３に接続されており、公衆回線網３には、インターネット５、図示しない多くの加入者有線端末、コンピュータネットワーク、企業内ネットワーク等が接続されている。さらに、公衆回線網３には、インターネットサービスプロバイダが保有するアクセスサーバ６およびコンテンツサーバ７も接続されている。
【００１８】アクセスサーバ６は、いわゆるダイヤルアップ接続による、インターネット５への接続サービスを提供する。
【００１９】コンテンツサーバ７は、携帯端末１からの要求に応じて、あるいは、いわゆるプッシュ型の配信によって、例えば、ＷｅｂページとしてのＨＴＭＬ（Hyper Text Markup Language）形式のファイルや、さらには、電子ブックのデータ、ＣＤに収められた曲の音声データ（オーディオデータ）、動画の画像データ等の各種のコンテンツを提供する。
【００２０】インターネット５には、多数のＷＷＷ(World Wide Web)サーバ４1，４2，・・・，４Cが接続され、これらのＷＷＷサーバ４1乃至４C（以下、特に区別する必要がない限り、ＷＷＷサーバ４と記載する）に対しては、加入者有線端末や、携帯端末１から、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）と呼ばれるプロトコルにしたがってアクセスすることができるようになっている。ここで、例えば、携帯端末１から基地局２までの間では、２Ｍｂｐｓの簡易トランスポートプロトコルで、基地局２からインターネット５を介してＷＷＷサーバ４までの間では、ＴＣＰ／ＩＰで、それぞれ通信が行われる。
【００２１】管理制御装置８は、公衆回線網３に接続されており、加入者有線端末や携帯端末１に対する通話料等の課金処理を行う。
【００２２】図２は、図１の携帯端末１の外観構成例を示している。
【００２３】即ち、図２は、携帯端末１が、例えば、カメラ付ディジタル携帯電話機である場合の外観構成例を示している。
【００２４】図２において、携帯端末１は、中央のヒンジ部１１を境に、表示部１２と本体１３とに分けられており、ヒンジ部１１を介して折り畳み可能に形成されている。
【００２５】表示部１２には、その上端左部に送受信用のアンテナ１４が引出しおよび収納可能な状態に取り付けられており、アンテナ１４は、基地局２との間で電波を送受信する。また、表示部１２には、その上端中央部に、ほぼ１８０度の角度範囲で回動自在なカメラ部１５が設けられている。カメラ部１５は、ＣＣＤ(ChargeCoupled Device)カメラ１６を有しており、これにより、携帯端末１では、所望の被写体の画像を撮像することができるようになっている。
【００２６】カメラ部１５の、ＣＣＤカメラ１６が設けられている反対側の面（背面）には、スピーカ１７が設けられている。即ち、ユーザが、カメラ部１５を、図２に示した状態から、ほぼ１８０度回動し、その状態に位置決めすると、図３に示すように、カメラ部１５の背面側中央に設けられたスピーカ１７が、正面側に位置することになり、これにより、通常の音声通話が可能な状態に切り換わる。
【００２７】表示部１２には、さらに、その正面に、液晶ディスプレイ１８が設けられており、液晶ディスプレイ１８には、例えば、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号、および発信履歴などが表示される。さらに、液晶ディスプレイ１８には、電子メールの内容や、Ｗｅｂページ、ＣＣＤカメラ１６で撮像された画像、携帯端末１で受信されたデータ、その他、液晶ディスプレイ１８の表示画面上の所定の位置を指示するカーソルなども表示される。
【００２８】本体１３には、その表面に「０」乃至「９」の数字キー、発呼キー、リダイヤルキー、終話及び電源キー、クリアキー、並びに電子メールキー等の操作キー１９が設けられており、ユーザは、この操作キー１９を操作することによって、各種の指示を入力することができるようになっている。
【００２９】また、本体１３においては、操作キー１９の下部に、メモボタン２０やマイクロフォン２１が設けられている。メモボタン２０は、通話中の相手の音声を録音するときに操作される。マイクロフォン２１は、通話時のユーザの音声を集音する。
【００３０】さらに、本体１３においては、操作キー１９の上部に、回転自在なトラックボール２２が、本体１３の表面から僅かに突出した状態で設けられている。トラックボール２２が回転操作されると、その操作に応じて、液晶ディスプレイ１８に表示された電話帳リストや電子メールのスクロール動作、ホームページのページ捲り動作、画像の送り動作等の種々の動作が行われる。
【００３１】また、トラックボール２２は、本体１３の内部方向への押圧操作が可能になっている。例えば、ユーザが、トラックボール２２を回転操作することにより、液晶ディスプレイ１８に表示された電話帳リストの複数の電話番号の中から所望の電話番号を選択し、トラックボール２２を本体１３の内部方向に押圧操作すると、携帯端末１では、選択された電話番号が確定され、その電話番号に対して自動的に発呼処理が行われる。
【００３２】その他、トラックボール２２は、例えば、液晶ディスプレイ１８に表示されるカーソルを移動するときに回転操作され、カーソルが位置している点をクリックするときに、押圧操作される。
【００３３】本体１３の左側面上部には、抜差自在なメモリカード２３を挿着するためのメモリカードスロット２４が設けられている。メモリカード２３には、メモボタン２０が押下された場合に、通話中の相手の音声が記録され、あるいは、また、ユーザの操作に応じて、電子メールや、ホームページ、ＣＣＤカメラ１６で撮像された画像、携帯端末１で受信されたデータ等が記録される。
【００３４】ここで、メモリカード２３は、小型薄型形状のプラスチックケース内に、電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）の一種であるフラッシュメモリ素子を格納したものであり、画像データや、音声データ、プログラム等の各種データの書き込みおよび読み出しが可能となっている。
【００３５】なお、メモリカード２３としては、例えば、本件出願人であるソニー株式会社によって開発されたメモリスティク（ソニー株式会社の商標）を採用することができる。また、メモリカード２３としては、その他、例えば、他社製品であるＳＤメモリーカードや、コンパクトフラッシュ、スマートメディア、マルチメディアカード、サムドライブ(Thumb Drive)（いずれも商標）等を採用することも可能である。また、半導体メモリであるメモリカード２３に替えて、例えば、マイクロドライブやｉＤフォーマット（いずれも商標）といった磁気ディスク等を採用することも可能である。
【００３６】メモリカード２３は、メモリカードスロット２４に対して、容易に着脱可能となっており、従って、メモリカード２３を介することで、他の電子機器との間で、データを、容易に共有することが可能となっている。
【００３７】なお、本体１３には、背面側に、図示しないバッテリパックが挿着されており、終話及び電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態となる。
【００３８】図４は、携帯端末１の電気的構成例を示している。
【００３９】携帯端末１は、表示部１２および本体１３の各部を統括的に制御する主制御部３０に対して、電源回路部３１、操作入力制御部３２、画像エンコーダ３３、カメラインターフェース部３４、ＬＣＤ（Liquid Crystal Display）制御部３５、画像デコーダ３６、多重分離部３７、記録再生部４２、変復調回路部３８、および音声コーデック３９が、メインバス４０を介して互いに接続されると共に、画像エンコーダ３３、画像デコーダ３６、多重分離部３７、変復調回路部３８、および音声コーデック３９が、同期バス４１を介して互いに接続されて構成されている。
【００４０】電源回路部３１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給し、携帯端末１を動作可能な状態に起動する。
【００４１】主制御部３０は、図示せぬＣＰＵ，ＲＯＭ、ＲＡＭ等で構成され、ＣＰＵが、ＲＯＭに記憶されたプログラムを実行することで、各種の処理を行う。
【００４２】即ち、携帯端末１は、主制御部３０の制御に基づいて、音声通話モード時にマイクロフォン２１で集音した音声信号を、音声コーデック３９によってディジタル音声データに変換し、これを変復調回路部３８でスペクトラム拡散処理する。さらに、携帯端末１は、そのスペクトラム拡散処理後の信号に対して、送受信回路部４３で周波数変換処理を施し、アンテナ１４を介して送信する。
【００４３】また、携帯端末１は、音声通話モード時にアンテナ１４で受信した受信信号を、送受信回路部４３で増幅し、周波数変換処理を施して、変復調回路部３８に供給する。変復調回路部３８は、送受信回路部４３からの信号をスペクトラム逆拡散処理し、音声コーデック３９に供給する。音声コーディック３９は、変復調回路部３８からの信号をアナログ音声信号に変換し、スピーカ１７に供給して出力させる。
【００４４】さらに、携帯端末１は、例えば、電子メール等のテキストデータを送信する場合、操作キー１９やトラックボール２２の操作によって入力されたテキストデータを、操作入力制御部３２を介して主制御部３０に送出する。主制御部３０は、そこに供給されるテキストデータを、上述した音声通話における場合と同様に、変復調回路部３８および送受信回路部４３で処理した後、アンテナ１４を介して、基地局２に送信する。
【００４５】また、携帯端末１は、電子メール等のテキストデータを受信する場合、アンテナ１４を介して基地局２から受信した受信信号を、音声通話における場合と同様に、送受信回路部４３および変復調回路部３８で処理することにより、テキストデータに復元した後、ＬＣＤ制御部３５を介して、液晶ディスプレイ１８に供給して、電子メールとして表示させる。
【００４６】さらに、携帯端末１は、例えば、画像データを送信する場合、ＣＣＤカメラ１６で撮像された画像データを、カメラインターフェース部３４を介して、画像エンコーダ３３に供給する。画像エンコーダ３３は、ＣＣＤカメラ１６から供給される画像データを、所定の符号化方式によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部３７に送出する。同時に、携帯端末１は、ＣＣＤカメラ１６による撮像中にマイクロフォン２１で集音した音声を、音声コーデック３９を介して、ディジタルの音声データとして、多重分離部３７に送出する。多重分離部３７は、画像エンコーダ３３から供給された符号化画像データと音声コーデック３９から供給された音声データとを、所定の方式で多重化する。この結果得られる多重化データは、変復調回路部３８および送受信回路部４３で処理され、アンテナ１４を介して送信される。
【００４７】なお、上述のようにしてCCDカメラ１６で撮影される画像データは、同時に、カメラインターフェース部３４及びＬＣＤ制御部３５を介して、液晶ディスプレイ１８に供給して表示することができる。
【００４８】携帯端末１は、例えば、画像データを受信する場合、アンテナ１４を介して基地局２から受信した受信信号を、送受信回路部４３および変復調回路部３８で処理し、その結果得られる多重化データを、多重分離部３７に送出する。多重分離部３７は、多重化データを、符号化画像データと音声データとに分け、同期バス４１を介して、符号化画像データを画像デコーダ３６に供給すると共に、音声データを音声コーデック３９に供給する。画像デコーダ３６は、符号化画像データを所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、ＬＣＤ制御部３５を介して液晶ディスプレイ１８に供給して表示させる。音声コーデック３９は、そこに供給される音声データをアナログ音声信号に変換し、スピーカ１７に供給して出力させる。
【００４９】その他、携帯端末１では、コンテンツサーバ７がプッシュ型で配信する電子ブックのデータや、映画等の画像（動画または静止画）データ等のコンテンツの受信も可能となっている。
【００５０】ここで、携帯端末１では、受信した各種のデータを、記録再生部４２を介してメモリカード２３に供給して記録させることが可能である。
【００５１】次に、図５は、図１のコンテンツサーバ７のハードウェア構成例を示している。
【００５２】バス５１は、CPU５２，ROM５３，RAM５４，ハードディスク５５，入出力インタフェース６０を相互に接続している。CPU５２は、ROM５３やRAM５４等に記憶されたプログラムを実行することにより、各種の処理を行う。ROM５３は、IPL(Initial Program Loading)のプログラム等を記憶している。RAM５４は、ハードディスク５５等から転送されてくるOS(Operating System)のプログラムや、サーバとして機能するためのプログラム等、さらには、CPU５２の処理上必要なデータ等を一時記憶する。ハードディスク５５は、各種のプログラムやデータ等を記憶する。出力部５６は、例えば、ディスプレイやスピーカ等で構成され、各種のデータを表示、出力する。入力部５７は、キーボードや、マウス、マイク等で構成され、必要な入力を与えるときに操作される。通信部５８は、外部のコンピュータ（例えば、携帯端末１や、アクセスサーバ６等）と通信するときに通信制御を行う。ドライブ５９は、リムーバブル記録媒体６１をドライブし、リムーバブル記録媒体６１からのデータやプログラムの読み出し、またはそれらの記録を行う。入出力インタフェース６０は、バス５１と、出力部５６、入力部５７、通信部５８、およびドライブ５９との間のインタフェースとして機能する。リムーバブル記録媒体６１は、例えば、フロッピー（登録商標）ディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどで構成される。
【００５３】以上のように構成されるコンテンツサーバ７では、CPU５２は、インターネットサービスプロバイダの管理者によって、入力部５７が操作等されることにより、入出力インタフェース６０を介して指令が入力されると、それにしたがって、ROM(Read Only Memory)５３に格納されているプログラムを実行する。あるいは、また、CPU５２は、ハードディスク５５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部５８で受信されてハードディスク５５にインストールされたプログラム、またはドライブ５９に装着されたリムーバブル記録媒体６１から読み出されてハードディスク５５にインストールされたプログラムを、RAM(Random Access Memory)５４にロードして実行する。これにより、CPU５２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU５２は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部５６から出力、あるいは、通信部５８から送信、さらには、ハードディスク５５に記録等させる。
【００５４】なお、本明細書において、コンテンツサーバ７（のCPU５２）に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしも、後述するフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクト（コンピュータプログラムのモジュールとしてのオブジェクト）による処理）も含むものである。
【００５５】また、プログラムは、コンテンツサーバ７だけによって処理されるものであっても良いし、コンテンツサーバ７を含む複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００５６】ここで、プログラムは、コンテンツサーバ７に内蔵されている記録媒体としてのハードディスク５５やＲＯＭ５３に予め記録しておくことができる。
【００５７】あるいはまた、プログラムは、リムーバブル記録媒体６１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体６１は、いわゆるパッケージソフトウエアとして提供することができる。
【００５８】さらに、プログラムは、上述したようなリムーバブル記録媒体６１からコンテンツサーバ７にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンテンツサーバ７に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンテンツサーバ７に有線で転送し、コンテンツサーバ７では、そのようにして転送されてくるプログラムを、通信部５８で受信し、内蔵するハードディスク５５にインストールすることができる。
【００５９】ところで、コンテンツサーバ７は、上述したように、例えば、プッシュ型の配信や携帯端末１からの要求によって、電子ブックのデータや映画の画像データ等のコンテンツを、携帯端末１に提供する他、その提供するコンテンツを、複数の携帯端末１1乃至１Aそれぞれから送信されてくる各ユーザのクリックデータに基づいて処理するようにもなっている。
【００６０】即ち、図１において、コンテンツサーバ７は、例えば、画像データを、複数の携帯端末１1乃至１Aのうちの、ある注目している注目ユーザの携帯端末１（以下、適宜、注目携帯端末１という）に提供する場合には、最初は、例えば、図６（Ａ）に示すような、全体の解像度が低い（あるいは、標準解像度の）画像データを提供する。
【００６１】注目携帯端末１において、図６（Ａ）に示した解像度の低い画像データが表示されている場合に、注目携帯端末１のユーザが、トラックボール２２をクリックすることにより、自身が所望する物体の表示部分を選択、指示すると、主制御部３０（図４）は、その指示された表示部分（空間的および時間的な位置）を特定する情報を、クリックデータとして、変復調回路部３８および送受信回路部４３を制御することにより、コンテンツサーバ７に送信する。
【００６２】コンテンツサーバ７は、注目携帯端末１から送信されてくるユーザのクリックデータに基づいて、その注目携帯端末１のユーザ（以下、適宜、注目ユーザという）の意図を推定し、その推定した意図に基づいて、提供する画像データを加工する等の所定の画像処理を行う。
【００６３】即ち、コンテンツサーバ７は、例えば、提供する画像データの中で、注目ユーザが注視しようとしている意図が推測される領域の解像度を向上させる。
【００６４】その結果、注目携帯端末１には、例えば、図６（Ｂ）に示すように、注目ユーザが注視している物体（オブジェクト）の表示部分の解像度が向上した画像データが提供される。
【００６５】また、コンテンツサーバ７から注目携帯端末１に対して、例えば、図７（Ａ）に示すように、オブジェクト分離されていない画像データが提供される場合において、注目携帯端末１のユーザが、トラックボール２２をクリックすることにより、自身が所望するオブジェクトの表示部分を選択、指示すると、主制御部３０（図４）は、その指示された表示部分を特定する情報を、クリックデータとして、変復調回路部３８および送受信回路部４３を制御することにより、コンテンツサーバ７に送信する。
【００６６】コンテンツサーバ７は、このようにして注目携帯端末１から送信されてくるユーザのクリックデータに基づいて、その注目携帯端末１のユーザの意図を推定し、その推定した意図に基づいて、提供する画像データ画像データからオブジェクトを抽出する。即ち、コンテンツサーバ７は、例えば、注目ユーザが注視しようとしている意図が推測されるオブジェクト（前景）を抽出することにより、図７（Ａ）の画像データを、図７（Ｂ）に示すように、オブジェクト（前景）と背景に分離する。さらに、コンテンツサーバ７は、必要に応じて、オブジェクト抽出結果に基づいて、オブジェクト符号化等の画像圧縮を行い、あるいは、オブジェクト抽出の結果得られるオブジェクトによって、オブジェクトのデータベースを構成する。
【００６７】次に、図８は、コンテンツとして、映画等の動画の画像データを提供するコンテンツサーバ７の機能的構成例を示している。
【００６８】送受信制御部７１は、画像加工部７５から供給される、未加工の、または加工された画像データを、携帯端末１に送信する。また、送受信制御部７１は、携帯端末１から送信されてくるクリックデータを受信し、登録部７２に供給する。登録部７２は、送受信制御部７１から供給されるクリックデータを、クリックデータベース７３に供給して記憶させる（登録する）。クリックデータベース７３は、登録部７２から供給されるクリックデータを記憶する。
【００６９】なお、クリックデータベース７３は、携帯端末１1乃至１Aそれぞれからの各ユーザのクリックデータを、各ユーザごとに記憶することができるようになっている。さらに、クリックデータベース７３は、各ユーザについて、複数のクリックデータを記憶することができるようになっている。このクリックデータベース７３における各ユーザごとの複数のクリックデータの登録は、登録部７２が管理するが、登録部７２は、各ユーザについて、所定数のクリックデータを記憶すると、次に供給されるユーザのクリックデータを、そのユーザについての最も古いクリックデータに上書きする形で、クリックデータベース７３に登録するようになっている。
【００７０】クリックデータ処理部７４は、クリックデータベース７３に記憶されたクリックデータに基づいて、画像データベース７６に記憶された画像データを処理し、その処理結果を、画像加工部７５に供給する。なお、ここでは、クリックデータ処理部７４は、例えば、クリックデータに基づいて、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果を、画像加工部７５に供給するようになっている。
【００７１】画像加工部７５は、画像データベース７６から画像データを読み出し、送受信制御部７１に供給する。さらに、画像加工部７５は、送受信制御部７１に画像データを供給する際、その画像データを、必要に応じて、クリックデータ処理部７４からのオブジェクト抽出結果に基づいて加工する。即ち、画像加工部７５は、クリックデータ処理部７４から供給されるオブジェクトと、画像データベース７６から読み出した画像データとのマッチングを行うこと等によって、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果に基づいて、画像データをオブジェクト符号化して、送受信制御部７１に供給する。あるいは、また、画像加工部７５は、画像データベース７６から読み出した画像データにおいて、クリックデータ処理部７４から供給されるオブジェクトと同様の領域を検出し、その領域の解像度を向上させて、送受信制御部７１に供給する。
【００７２】画像データベース７６は、携帯端末１等に提供するコンテンツとしての画像データを記憶している。
【００７３】以上のように構成されるコンテンツサーバ７では、画像データベース７６から画像データが、所定のスケジュールにしたがって、あるいは、携帯端末１からの要求にしたがって読み出され、画像加工部７５を介して、送受信制御部７１に供給される。送受信制御部７１は、この画像データを、携帯端末１に送信する。
【００７４】このようにして、コンテンツサーバ７から携帯端末１に送信された画像は、携帯端末１（図４）において、その液晶ディスプレイ１８に表示される。そして、ユーザが、液晶ディスプレイ１８に表示された画像の所定の位置に、カーソルを移動して、トラックボール２２をクリックすると、携帯端末１は、そのクリックされた位置の座標と、その位置を含むフレーム（あるいはフィールド）を表す情報等を、クリックデータとして、コンテンツサーバ７に送信する。
【００７５】携帯端末１から送信されてくるクリックデータは、コンテンツサーバ７（図８）の送受信制御部７１で受信され、登録部７２に供給される。登録部７２は、送受信制御部７１からのクリックデータを、クリックデータベース７３に供給して記憶させる。
【００７６】一方、クリックデータ処理部７４は、以上のようにして、クリックデータベース７３に記憶されたクリックデータを読み出し、そのクリックデータに基づいて、画像データベース７６に記憶された画像データから、オブジェクトを抽出して、そのオブジェクト抽出結果を、画像加工部７５に供給する。
【００７７】画像加工部７５は、クリックデータ処理部７４からオブジェクト抽出結果を受信すると、そのクリックデータ処理部７４から供給されたオブジェクトと、画像データベース７６から読み出した画像データとのマッチングを行うことにより、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果に基づいて、画像データをオブジェクト符号化して、送受信制御部７１に供給する。あるいは、また、画像加工部７５は、画像データベース７６から読み出した画像データから、クリックデータ処理部７４から供給されるオブジェクトと同様の領域を検出し、その領域の解像度を向上させて、送受信制御部７１に供給する。
【００７８】なお、画像加工部７５における解像度の向上処理には、例えば、本件出願人が先に提案しているクラス分類適応処理を採用することができる。
【００７９】クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００８０】即ち、適応処理では、例えば、標準解像度または低解像度の画像（ＳＤ(Standard Definition)画像）を構成する画素（以下、適宜、ＳＤ画素という）と、所定の予測係数との線形結合により、そのＳＤ画像の解像度を向上させた高解像度の画像（ＨＤ(High Definition)画像）の画素の予測値を求めることで、そのＳＤ画像の解像度を向上させた画像が得られる。
【００８１】具体的には、例えば、いま、あるＨＤ画像を教師データとするとともに、そのＨＤ画像の解像度を劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００８２】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・ ・・・（１）
【００８３】式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００８４】
ＸＷ＝Ｙ’ ・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００８５】そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００８６】
ＸＷ＝Ｙ＋Ｅ ・・・（３）
【００８７】この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００８８】従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００８９】
【数４】
・・・（４）
【００９０】そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【００９１】
【数５】
・・・（５）
【００９２】式（４）および（５）より、式（６）が得られる。
【００９３】
【数６】
・・・（６）
【００９４】さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００９５】
【数７】
・・・（７）
【００９６】なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式 ＡＷ＝ｖ ・・・（８）
で表すことができる。
【００９７】式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００９８】以上のようにして、最適な予測係数ｗjを求めておき、さらに、その予測係数ｗjを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００９９】ここで、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【０１００】なお、画像の解像度を向上させる方法は、上述したクラス分類適応処理に限定されるものではない。
【０１０１】次に、図９は、図８のクリックデータ処理部７４の構成例を示している。
【０１０２】図９の実施の形態においては、クリックデータ処理部７４は、画像データベース７６に記憶された画像データからオブジェクトを抽出する第１オブジェクト抽出装置８１と第２オブジェクト抽出装置８２とから構成されている。
【０１０３】第１オブジェクト抽出装置８１は、クリックデータに基づき、ユーザの意図を考慮せずに、オブジェクト抽出を行うようになっており、第２オブジェクト抽出装置８２は、クリックデータに基づき、ユーザの意図を考慮して、オブジェクト抽出を行うようになっている。
【０１０４】図１０は、図９の第１オブジェクト抽出装置８１の構成例を示している。
【０１０５】クリックデータ読み出し部９１は、クリックデータベース７３から、ユーザごとのクリックデータを読み出し、オブジェクト抽出部９４に供給する。画像データ読み出し部９２は、画像データベース７６から、必要な画像データを読み出し、背景抽出部９３、オブジェクト抽出部９４、および付加情報算出部９５に供給する。
【０１０６】背景抽出部９３は、後述するオブジェクト抽出部９４によるオブジェクト抽出結果に基づいて、画像データ読み出し部９２から供給される画像データから、画像の背景部分（後述する興味対象領域以外の画像領域、以下、背景画像と呼ぶ）に相当する信号（以下、背景画像データと呼ぶ）を抽出し、その抽出した背景画像データを、多重化処理部９６と付加情報算出部９５に供給する。即ち、本実施の形態では、背景抽出部９３は、画像データ読み出し部９２が出力する画像データから、オブジェクト抽出部９４が出力するオブジェクト画像を除いた残りを、背景画像として抽出する。
【０１０７】オブジェクト抽出部９４は、画像データ読み出し部９２から供給される画像の中において、クリックデータ読み出し部９１から供給されるクリックデータによって特定される領域を、携帯端末１のユーザが注目している画像領域である興味対象領域として抽出し、その抽出した興味対象領域に対応する画像データを、多重化処理部９６に供給する。なお、画像データ読み出し部９２から供給される画像の中に、携帯端末１のユーザが注目する興味対象領域が複数存在する場合、オブジェクト抽出部９４は、その複数の興味対象領域の画像データを抽出して、多重化処理部９６に供給する。また、オブジェクト抽出部９４で抽出された興味対象領域の画像データは、付加情報算出部９５にも供給される。
【０１０８】ここで、ユーザが注目する興味対象領域としては、例えば、物体などのオブジェクトを挙げることができる。以下、オブジェクト抽出部９４において興味対象領域の一例としてオブジェクト（以下、適宜、オブジェクト画像とも呼ぶ）を抽出する場合を例に挙げて説明することにする。但し、興味対象領域は、必ずしもオブジェクトである必要はなく、オブジェクト以外の画像領域やオブジェクト内の画像領域、あるいは背景画像部分等であっても良い。なお、オブジェクト抽出部９４において行われるオブジェクト抽出（興味対象領域の特定）処理の詳細についての説明は後述する。
【０１０９】付加情報算出部９５は、背景抽出部９３から供給される背景画像データに基づいて、背景の動き（画像の撮影時に、撮影方向が動くことによる背景の動き）を表す背景動きベクトルを検出するとともに、オブジェクト抽出部９４から供給されるオブジェクト画像の画像データ（以下、オブジェクト画像データとも呼ぶ）に基づいて、オブジェクトの動きを表すオブジェクト動きベクトルを検出し、それら動きベクトルを付加情報の一つとして、多重化処理部９６に供給する。また、付加情報算出部９５は、オブジェクト抽出部９４から供給されたオブジェクト画像データに基づいて、画像データベース７６（図８）から読み出された画像（フレーム）内におけるオブジェクトの位置や輪郭等のようなオブジェクトに関連する情報も、付加情報として多重化処理部９６に供給する。すなわち、オブジェクト抽出部９４は、オブジェクト画像を抽出する際に、そのオブジェクトの位置や輪郭等のオブジェクトに関連する情報も抽出し、付加情報算出部９５に供給するようになっており、付加情報算出部９５は、そのオブジェクトに関連する情報も付加情報として出力するようになっている。
【０１１０】多重化処理部９６は、オブジェクト抽出部９４からのオブジェクト画像データ、背景抽出部９３からの背景画像データ、付加情報算出部９５からの付加情報を多重化し、オブジェクト抽出結果として出力する。
【０１１１】以上のように構成される第１オブジェクト抽出装置８１では、図１１のフローチャートに示すように、まず最初に、ステップＳ１において、クリックデータ読み出し部９１は、クリックデータベース７３から、そこに記憶されたクリックデータを読み出し、オブジェクト抽出部９４に供給する。さらに、ステップＳ１では、画像データ読み出し部９２は、画像データベース７６から、処理の対象とする画像データを読み出し、背景抽出部９３、オブジェクト抽出部９４、および付加情報算出部９５に供給する。ここで、画像データ読み出し部９２は、クリックデータ読み出し部９１が読み出すクリックデータが表すフレーム（またはフィールド）付近のフレームの画像データを、処理対象とするようになっている。
【０１１２】そして、ステップＳ２に進み、オブジェクト抽出部９４は、画像データ読み出し部９２の画像データから、クリックデータ読み出し部９１より供給される各ユーザについてのクリックデータに基づいて、オブジェクト画像データを抽出し、背景抽出部９３、付加情報算出部９５、および多重化処理部９６に供給する。
【０１１３】背景抽出部９３は、ステップＳ３において、画像データ読み出し部９２から供給される画像データから、オブジェクト抽出部９４より供給されるオブジェクト画像データを減算することで、背景画像データを抽出し、付加情報算出部９５および多重化処理部９６に供給する。
【０１１４】付加情報算出部９５は、ステップＳ４において、画像データ読み出し部９２、背景抽出部９３、およびオブジェクト抽出部９４の出力に基づいて、付加情報を算出し、多重化処理部９６に供給する。
【０１１５】多重化処理部９６は、ステップＳ５において、オブジェクト抽出部９４からのオブジェクト画像データ、背景抽出部９３からの背景画像データ、付加情報算出部９５からの付加情報を多重化し、その結果得られる多重化データを、オブジェクト抽出結果として出力して、処理を終了する。
【０１１６】次に、図１２は、図１０のオブジェクト抽出部９４の構成例を示している。
【０１１７】画像データ読み出し部９２（図１０）から供給される画像データは、画像用メモリ１０１に蓄積される。画像用メモリ１０１に記憶された画像データは、そこから読み出され、静動判定部１０３、オブジェクト画像抽出部１１３、および切換選択スイッチ１０７の共通端子に送られる。なお、画像用メモリ１０１には、後段の静動判定部１０３で行われる静動判定の際に必要となる、少なくとも数フレーム分の画像データが蓄積される。
【０１１８】また、クリックデータ読み出し部９１（図１０）から供給されるクリックデータは、クリックデータ用メモリ１０２に蓄積される。そして、クリックデータは、クリックデータ用メモリ１０２から読み出され、静動判定部１０３、連続クリック判定部１０４、および切換選択スイッチ１０６の共通端子に送られる。なお、このクリックデータ用メモリ１０２には、後段の連続クリック判定部１０４における連続クリック判定の際に必要となる数の時系列のクリックデータが蓄積される。
【０１１９】静動判定部１０３は、クリックデータ用メモリ１０２に記憶されたクリックデータのうちの、所定のものに注目し、その注目した注目クリックデータを読み出す。さらに、静動判定部１０３は、その注目クリックデータが示すクリック位置（画像上の座標値）を中心とした局所的な小ブロック（例えば１６×１６画素）の画像領域が、動きがある動き領域であるか、または動きのない静止領域であるかの静動判定を行う。すなわち、静動判定部１０３は、クリック位置を中心とした１６×１６画素について、数フレーム前の画像領域と現フレームの画像領域との間でフレーム間差分を求め、このフレーム間差分値が所定のしきい値以下である場合には静止と判定し、フレーム間差分が所定のしきい値より大きい場合には動きと判定する静動判定を行う。なお、扱う画像がカラー画像である場合、静動判定の際には、例えば、Ｒ，Ｇ，Ｂの各１６×１６画素の画像について、それぞれフレーム間差分を求め、それらのＲ，Ｇ，Ｂ毎に求めたフレーム間差分の絶対値の平均値が所定のしきい値（例えば値１０）以下のときは静止と判定し、そのしきい値より大きいときは動きと判定するようにすることができる。静動判定部１０３は、静動判定により静止と判定した場合には、注目クリックデータを静止クリック（静止領域のクリック）であるとし、静動判定により動きと判定した場合には、注目クリックデータを動きクリック（動き領域のクリック）であるとして、その静止クリック又は動きクリックを示す情報を、静動判定結果として、処理判定部１０５に送る。
【０１２０】連続クリック判定部１０４は、注目クリックデータのクリック時刻（クリックデータに含まれる、クリックの時間的な位置）に基づいて、あるユーザが行ったクリック操作が連続的なクリック操作であるか否かの連続クリック判定を行う。すなわち、連続クリック判定部１０４は、連続クリック判定として、注目クリックデータのクリック時刻と、その直前（前回）のクリックデータのクリック時刻との時間差（クリック時間間隔）を求め、その時間差が所定のしきい値以下である場合には連続的なクリックであると判定し、クリック時刻の時間差が所定のしきい値より大きい場合には連続クリックでないと判定する。そして、連続クリック判定部１０４は、連続クリック判定により連続的なクリックであると判定した場合には、注目クリックデータを連続クリックとし、一方、連続クリック判定により連続的なクリックでない（クリック時刻の時間差が所定のしきい値以上である）と判定した場合には、注目クリックデータを不連続クリックとし、それら連続クリック又は不連続クリックの情報を、連続クリック判定結果として処理判定部１０５に送る。
【０１２１】処理判定部１０５は、静動判定部１０３からの静動判定結果と、連続クリック判定部１０４からの連続クリック判定結果とに基づいて、切換選択スイッチ１０６乃至１０８の切換制御を行う。
【０１２２】即ち、例えば、静動判定結果と連続クリック判定結果により、注目クリックデータが、静止クリックであり、且つ連続クリックであることが判った場合、処理判定部１０５は、注目クリックデータが、静止オブジェクト連結処理部１１１に送られるように、切換選択スイッチ１０６を切換制御すると共に、画像用メモリ１０１から出力される画像データが、静止オブジェクト連結処理部１１１に送られるように、切換選択スイッチ１０７を切換制御する。さらに、処理判定部１０５は、後述するオブジェクト抽出結果用メモリ１１４から出力される前回のクリックデータ、そのクリックデータに割り当てられたオブジェクト番号（オブジェクトを分類（識別）する番号）、およびそのオブジェクト番号に対応するオブジェクト画像データが、静止オブジェクト連結処理部１１１に送られるように、切換選択スイッチ１０８を切換制御する。
【０１２３】また、静動判定結果と連続クリック判定結果により、注目クリックデータが、動きクリックであり、且つ連続クリックであることが判った場合、処理判定部１０５は、注目クリックデータが、動きオブジェクト連結処理部１１０に送られるように、切換選択スイッチ１０６を切換制御すると共に、画像用メモリ１０１から出力される画像データが、動きオブジェクト連結処理部１１０に送られるように、切換選択スイッチ１０７を切換制御する。さらに、処理判定部１０５は、オブジェクト抽出結果用メモリ１１４から出力される前回のクリックデータ、そのクリックデータに割り当てられたオブジェクト番号、およびそのオブジェクト番号に対応するオブジェクト画像データが、動きオブジェクト連結処理部１１０に送られるように、切換選択スイッチ１０８を切換制御する。
【０１２４】さらに、静動判定結果と連続クリック判定結果により、注目クリックデータが、静止クリックであり、且つ不連続クリック（クリック時刻の時間差が所定のしきい値以上となるクリック）であることが判った場合、処理判定部１０５は、注目クリックデータが、オブジェクト番号割り当て部１０９に送られるように、切換選択スイッチ１０６を切換制御すると共に、画像用メモリ１０１から出力される画像データが、静止オブジェクト連結処理部１１１に送られるように、切換選択スイッチ１０７を切換制御する。さらに、処理判定部１０５は、オブジェクト抽出結果用メモリ１１４から出力される前回のクリックデータ、オブジェクト番号、およびオブジェクト画像データについては、静止オブジェクト連結処理部１１１に送らないように、切換選択スイッチ１０８を切換制御する（切換選択スイッチ１０８をオープン状態にする）。
【０１２５】また、静動判定結果と連続クリック判定結果により、注目クリックデータが、動きクリックであり、且つ不連続クリックであることが判った場合、処理判定部１０５は、注目クリックデータが、オブジェクト番号割り当て部１０９に送られるように、切換選択スイッチ１０６を切換制御すると共に、画像用メモリ１０１から出力される画像データが、動きオブジェクト連結処理部１１０に送られるように、切換選択スイッチ１０７を切換制御する。さらに、処理判定部１０５は、オブジェクト抽出結果用メモリ１１４から出力される前回のクリックデータと、オブジェクト番号、およびオブジェクト画像データについては、動きオブジェクト連結処理部１１０に送らないように、切換選択スイッチ１０８を切換制御する。
【０１２６】オブジェクト番号割り当て部１０９は、静止オブジェクト連結処理部１１１と、動きオブジェクト連結処理部１１０において、後述するような連結処理の対象となるもの以外の不連続クリックとなっているクリックデータに対して、新たなオブジェクト番号を割り当て、そのオブジェクト番号とクリックデータをオブジェクト番号用メモリ１１２に送る。
【０１２７】動きオブジェクト連結処理部１１０は、処理判定部１０５により、注目クリックデータが動きクリックであり、且つ連続クリックと判定された場合に、前回のクリックデータが動きクリックであり、さらに、注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックデータに割り当てられたオブジェクト番号で構成される動きオブジェクト画像の領域の特徴に含まれているか、または近似しているか否かを判定する。そして、動きオブジェクト連結処理部１１０は、その判定結果が真である場合、注目クリックデータが、同一のオブジェクト画像をクリックしているものであると判断し、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる動きオブジェクト連結処理を行い、そのオブジェクト番号と注目クリックデータを、オブジェクト番号用メモリ１１２に送る。
【０１２８】静止オブジェクト連結処理部１１１は、処理判定部１０５により、注目クリックデータが静止クリックであり、且つ連続クリックと判定された場合に、前回のクリックが静止クリックであり、さらに、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられたオブジェクト番号で構成される静止オブジェクト画像の領域内に含まれているか、またはその近傍であるか否かを判定する。そして、静止オブジェクト連結処理部１１１は、その判定結果が真である場合、注目クリックデータが、前回のクリックデータと同一のオブジェクト画像をクリックしているものであると判断し、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行い、そのオブジェクト番号と注目クリックデータを、オブジェクト番号用メモリ１１２に送る。
【０１２９】オブジェクト番号用メモリ１１２は、オブジェクト番号割り当て部１０９、動きオブジェクト連結処理部１１０、および静止オブジェクト連結処理部１１１においてオブジェクト番号が割り当てられた過去複数フレーム分に相当するクリックデータを蓄積し、その蓄積したクリックデータ及びオブジェクト番号を、オブジェクト画像抽出部１１３に送る。
【０１３０】オブジェクト画像抽出部１１３は、画像用メモリ１０１より供給される画像データから、オブジェクト番号用メモリ１１２より供給される、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止オブジェクト画像、動きオブジェクト画像、背景画像等を抽出し、その抽出結果を、オブジェクト抽出結果用メモリ１１４に供給する。
【０１３１】すなわち、オブジェクト画像抽出部１１３は、オブジェクト番号用メモリ１１２より供給される、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止クリックとされたクリックデータの密度が高い画像部分の中で支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部１１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの画像上における分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、オブジェクト画像として、画像データから抽出する。
【０１３２】また、オブジェクト画像抽出部１１３は、動きクリックとされたクリックデータの中で、同一オブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチング等を行い、そのマッチング結果に基づいて、動き補償を行う。さらに、オブジェクト画像抽出部１１３は、パターンマッチングで近似していると判定された画像領域（動き補償によって、いわば位置合わせを行った画像領域）においてクリック密度が高く支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部１１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの画像上での分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、オブジェクト画像として、画像データから抽出する。
【０１３３】さらに、オブジェクト画像抽出部１１３は、上述したような静止クリックや、動きクリックのクリック密度が低い画像部分を、背景画像とする。
【０１３４】オブジェクト抽出結果用メモリ１１４は、オブジェクト画像抽出部１１３が抽出したオブジェクト画像データを、クリックデータおよびオブジェクト番号等とともに蓄積し、必要に応じて、図１０の背景抽出部９３、付加情報算出部９５、および多重化処理部９６に供給する。
【０１３５】次に、図１３のフローチャートを参照し、図１２に示したオブジェクト抽出部９４において、クリックデータに基づいて、画像データから、携帯端末１のユーザが注目しているオブジェクト画像（興味対象領域）を抽出する処理の詳細について説明する。
【０１３６】先ずステップＳ１１として、画像用メモリ１０１は、画像データ読み出し部９２（図１０）より入力されるフレームの画像データを蓄積する。なお、画像用メモリ１０１は、後段のステップＳ１３で行われる静動判定処理の際に必要となる、少なくとも数フレーム分の画像データを蓄積する。
【０１３７】また、ステップＳ１１では、クリックデータ用メモリ１０２は、クリックデータ読み出し部９１（図１０）から供給されるクリックデータを受信して蓄積する。なお、このクリックデータ用メモリ１０２には、後段のステップＳ１３で行われる連続クリック判定処理の際に必要となる、少なくとも所定の時間分（例えば５００〜７００ｍ秒以上）のクリックデータが蓄積される。
【０１３８】その後、ステップＳ１２に進み、クリックデータ用メモリ１０２に、まだ処理していないクリックデータが記憶されているか否かが判定される。ステップＳ１２において、まだ処理していないクリックデータが、クリックデータ用メモリ１０２に無いと判定された場合は、ステップＳ１１に戻って入力待ち状態となる。一方、ステップＳ１２において、まだ処理していないクリックデータが、クリックデータ用メモリ１０２に有ると判定された場合、ステップＳ１３に進み、その処理されていないクリックデータのうちの、例えば、時間的に最も過去のものを、注目クリックデータとして、その注目クリックデータを対象に、静動判定部１０３、連続クリック判定部１０４、および処理判定部１０５による静動判定処理と連続クリック判定処理が行われる。
【０１３９】即ち、ステップＳ１３において、静動判定部１０３は、静動判定処理として、注目クリックデータに含まれるクリック位置（画像上の座標値）情報を用い、そのクリック位置を中心とした局所的な小ブロックの画像領域に動きがあるか、或いは静止しているかの判定を行う。
【０１４０】より具体的に説明すると、図１３のステップＳ１３の処理に進んで静動判定処理に移行したときの静動判定部１０３は、図１４のフローチャートに示すように、先ずステップＳ２１として、画像用メモリ１０１とクリックデータ用メモリ１０２にそれぞれ蓄積されている画像データとクリックデータを、数フレーム分だけ読み出す。即ち、静動判定部１０３は、注目クリックデータに対応するクリックが行われたフレームを含む、過去数フレーム分の画像データと、その数フレームに対して行われたクリックに対応するクリックデータを、画像データ用メモリ１０１とクリックデータ用メモリ１０２から、それぞれ読み出す。なお、扱う画像がカラー画像である場合、静動判定部１０３は、図１５（Ａ）に示すように、数フレームのＲ（赤），Ｇ（緑），Ｂ（青）それぞれの画像データを読み出す。
【０１４１】次に、静動判定部１０３は、ステップＳ２２として、注目クリックデータが示すクリック位置を中心とした、例えば水平方向１６画素及び垂直方向１６画素からなる局所的な小ブロックの画像領域について、数フレーム前の画像領域と現フレームの画像領域との間のフレーム間差分を計算する。なお、扱う画像がカラー画像である場合、静動判定部１０３は、ステップＳ２２の処理として、図１５（Ｂ）および図１５（Ｃ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の画像について、フレーム間差分を求め、そのＲ，Ｇ，Ｂ毎に求めたフレーム間差分それぞれの絶対値の平均値を求める。
【０１４２】次に、静動判定部１０３は、ステップＳ２３の処理として、ステップＳ２２の計算により求めたフレーム間差分値が、所定のしきい値以下であるかどうかを判定する。そして、ステップＳ２４に進み、静動判定部１０３は、フレーム間差分値が、所定のしきい値以下である場合には、注目クリックデータが示すクリック位置を含む小ブロック（以下、適宜、注目ブロックという）が、静止であると判定し、一方、フレーム間差分が所定のしきい値より大きい場合には、動きがあると判定する。さらに、静動判定部１０３は、注目ブロックを静止と判定したときには、その静止と判定された注目ブロックに対応した注目クリックデータを静止クリックとし、動きと判定したときには、その動きと判定された注目ブロックに対応した注目クリックデータを動きクリックとし、静動判定結果として出力する。
【０１４３】なお、扱う画像がカラー画像である場合、静動判定部１０３は、ステップＳ２４において、図１５（Ｄ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の注目ブロック毎に求められているフレーム間差分の絶対値の平均値が、所定のしきい値（例えば、値１０）以下のときは、例えば、所定のフラグを”０”とし、逆に、しきい値より大きいときは、例えば所定のフラグを”１”にする。さらに、静動判定部１０３は、ステップＳ２４において、図１５（Ｅ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の注目ブロック毎に設定されている所定フラグのうち全てが”０”となっている場合には、注目ブロックが静止であると判定し、その静止と判定された注目ブロックに対応した注目クリックデータを静止クリックとする。一方、Ｒ，Ｇ，Ｂの各１６×１６画素の注目ブロック毎に設定されている所定フラグのうち何れか一つにでも”１”が立っている場合には、静動判定部１０３は、注目ブロックに、動きがあると判定し、その動きと判定された注目ブロックに対応した注目クリックデータを動きクリックとする。そして、静動判定部１０３は、静止クリックまたは動きクリックの情報を、静動判定結果として出力する。
【０１４４】図１３のステップＳ１３では、さらに、連続クリック判定部１０４において、注目クリックデータに含まれるクリック時刻に基づいて、ユーザが行ったクリック操作が連続的なクリック操作であるか否かの連続クリック判定が行われる。
【０１４５】より具体的に説明すると、図１３のステップＳ１３における連続クリック判定部１０４は、図１６のフローチャートに示すように、先ず、ステップＳ３１として、クリックデータ用メモリ１０２に蓄積されているクリックデータを読み出す。
【０１４６】次に、連続クリック判定部１０４は、ステップＳ３２として、注目クリックデータのクリック時刻と、その直前（前回）のクリックデータのクリック時刻との時間差（クリック間隔）を求める。
【０１４７】次に、連続クリック判定部１０４は、ステップＳ３３として、その時間差が所定のしきい値以下であるか否か判定を行う。このステップＳ３３において、その時間差が所定のしきい値以下であると判定された場合には、連続クリック判定部１０４は、注目クリックデータが、連続的なクリックであると判定し、一方、クリック時刻の時間差が所定のしきい値より大きいと判定された場合には、連続クリック判定部１０４は、注目クリックデータが、連続的なクリックでないと判定する。そして、連続クリック判定部１０４は、ステップＳ３４に進み、連続クリックまたは不連続クリックを表す情報を、連続クリック判定結果として出力する。
【０１４８】即ち、ステップＳ３３において、連続的なクリックであると判定された場合、ユーザは、ある一つのオブジェクト画像に対するクリック操作を連続して行っている可能性が高い。これは、携帯端末１のユーザが、空間解像度を高くすることを望むオブジェクト画像部分（興味対象領域）を連続的にクリックする傾向があると考えられるからである。したがって、連続クリック判定部１０４は、連続クリック判定処理において連続的なクリックであると判定した場合には、注目クリックデータを連続クリックとし、一方、連続的なクリックでない（クリック時刻の時間差が所定のしきい値以上である）と判定した場合には、注目クリックデータを不連続クリックとし、連続クリック判定結果として出力する。
【０１４９】図１３に戻り、処理判定部１０５は、静動判定部１０３と連続クリック判定部１０４それぞれでのステップＳ１３の静動判定と連続クリック判定により、注目クリックデータが、連続クリックであり且つ静止クリックであることが判明した場合には、ステップＳ１５に進み、切換選択スイッチ１０６乃至１０８を上述のように制御することにより、静止オブジェクト連結処理部１１１に、静止オブジェクト連結処理を行わせる。また、処理判定部１０５は、注目クリックデータが、連続クリックであり且つ動きクリックであることが判明した場合には、ステップＳ１６に進み、切換選択スイッチ１０６乃至１０８を制御することにより、動きオブジェクト連結処理部１１０に、動きオブジェクト連結処理を行わせる。さらに、処理判定部１０５は、注目クリックデータが、不連続クリックであることが判明した場合には、ステップＳ１４に進み、切換選択スイッチ１０６を制御することにより、オブジェクト番号割り当て部１０９に、新たなオブジェクト番号割り当て処理を行わせる。
【０１５０】即ち、ステップＳ１３において、注目クリックデータが不連続クリックであると判定され、ステップＳ１４の処理に進んだ場合、オブジェクト番号割り当て部１０９は、その注目クリックデータに対して新たなオブジェクト番号を割り当て、ステップＳ１１に戻る。
【０１５１】具体例を挙げて説明すると、例えば図１７（Ａ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が、例えば「０」とされているとした場合において、図１７（Ａ）において点線の×印で示す注目クリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、不連続クリックであると判定されたとき、オブジェクト番号割り当て部１０９は、図１７（Ｂ）中の実線の×印で示す注目クリックデータＣＬ２に対して、新たなオブジェクト番号（この例では「１」）を割り当てる。
【０１５２】一方、ステップＳ１３において、注目クリックデータが、連続クリックであり且つ静止クリックであると判定された場合、静止オブジェクト連結処理部１１１は、前回のクリックが静止クリックとなっており、さらに、注目クリックデータが表すクリック位置が、前回のクリックデータ（あるユーザの、注目クリックデータの１つ前のクリックデータ）に割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近ければ、注目クリックデータに対応するクリックが前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判断し、ステップＳ１５において、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行う。
【０１５３】すなわち、静止オブジェクト連結処理部１１１は、図１８のフローチャートに示すように、先ず、ステップＳ４１として、前回のクリックデータが、連続クリックであり且つ静止クリックであったか否かの判定を行う。このステップＳ４１において、前回のクリックデータが、連続クリックで且つ静止クリックであると判定された場合は、ステップＳ４２の処理に進み、一方、前回のクリックデータが連続クリックで且つ静止クリックでないと判定された場合は、ステップＳ４４の処理に進む。
【０１５４】ステップＳ４１にて前回のクリックデータが連続クリックで且つ静止クリックでないと判定すると、静止オブジェクト連結処理部１１１は、ステップＳ４４の処理として、図１７（Ａ）及び（Ｂ）で説明したのと同様にして、注目クリックデータに対して、新たなオブジェクト番号を割り当てる。このステップＳ４４の処理後は、図１３のステップＳ１７の処理に進む。
【０１５５】また、ステップＳ４１にて前回のクリックデータが、連続クリックで且つ静止クリックであると判定されてステップＳ４２の処理に進むと、静止オブジェクト連結処理部１１１は、注目クリックデータが表すクリック位置と、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域との間の空間的な距離を求める。さらに、静止オブジェクト連結処理部１１１は、この距離に基づいて、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近いかどうかを判定し、その判定結果が真の場合は、注目クリックデータは、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判定する。一方、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成されるオブジェクト画像領域内に含まれず、且つその領域からも遠い場合は、静止オブジェクト連結処理部１１１は、注目クリックデータは、前回のクリックが含まれるものとは異なる別のオブジェクト画像をクリックしたものである判定する。ステップＳ４２において、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定された場合、ステップＳ４３の処理に進み、一方、注目クリックデータが、前回のクリックが含まれるものとは別のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ４４の処理に進む。
【０１５６】ステップＳ４２にて注目クリックデータが、前回のクリックが含まれるものとは別のオブジェクト画像をクリックしたデータであると判定され、ステップＳ４４の処理に進むと、静止オブジェクト連結処理部１１１は、注目クリックデータに対して新たなオブジェクト番号を割り当てた後、図１３のステップＳ１７の処理に進む。
【０１５７】また、ステップＳ４２にて注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定され、ステップＳ４３の処理に進むと、静止オブジェクト連結処理部１１１は、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行う。
【０１５８】具体例を挙げて説明すると、例えば図１７（Ｃ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が例えば「０」とされているとした場合において、図１７（Ｃ）において点線の×印で示す注目クリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、連続クリックで且つ静止クリックであると判定され、前回のクリックが静止クリックとなっており、さらに注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近いとき、静止オブジェクト連結処理部１１１は、図１７（Ｄ）中の実線の×印で示す注目クリックデータＣＬ２に対して、前回のクリックデータと同一のオブジェクト番号（この例では「０」）を割り当てる。
【０１５９】このようにステップＳ４３にて、注目クリックデータに、前回のクリックデータと同一のオブジェクトを割り当てた後は、図１３のステップＳ１７の処理に進む。
【０１６０】また、図１３のステップＳ１３において、注目クリックデータが、連続クリックであり且つ動きクリックであると判定され、前回のクリックが動きクリックとなっており、さらに注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域（１６×１６画素）の特徴に含まれているか又はそれに近い場合、動きオブジェクト連結処理部１１０は、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判断し、ステップＳ１６として、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる動きオブジェクト連結処理を行う。
【０１６１】すなわち、ステップＳ１３において、注目クリックデータが連続クリックであり且つ動きクリックであると判定されたとき、動きオブジェクト連結処理部１１０は、図１９に示すように、先ず、ステップＳ５１として、前回のクリックデータが、連続クリックであり且つ動きクリックであったか否かの判定を行う。このステップＳ５１において、前回のクリックデータが、連続クリックで且つ動きクリックであると判定された場合は、ステップＳ５２の処理に進み、一方、前回のクリックデータが、連続クリックで且つ動きクリックでないと判定された場合は、ステップＳ５４の処理に進む。
【０１６２】ステップＳ５１にて、前回のクリックデータが、連続クリックで且つ動きクリックでないと判定されてステップＳ５４の処理に進むと、動きオブジェクト連結処理部１１０は、図１６（Ａ）及び（Ｂ）で説明したのと同様にして、注目クリックデータに対して新たなオブジェクト番号を割り当てる。このステップＳ５４の処理後は、図１３のステップＳ１７の処理に進む。
【０１６３】また、ステップＳ５１にて、前回のクリックデータが、連続クリックで且つ動きクリックであると判定されてステップＳ５２の処理に進むと、動きオブジェクト連結処理部１１０は、注目クリックデータが表すクリック位置付近の画像領域（１６×１６画素）の特徴と、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴とを求める。さらに、動きオブジェクト連結処理部１１０は、これらの特徴に基づいて、注目クリックデータが表すクリック位置付近の画像領域の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴に含まれているか又はそれに近いかどうかを判定し、その判定結果が真の場合に、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしていると判定する。一方、注目クリックデータが表すクリック位置付近の画像領域の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴に含まれず、且つその特徴からも遠い場合は、動きオブジェクト連結処理部１１０は、注目クリックデータが、前回のクリックとは異なる別オブジェクト画像をクリックしたデータであると判定する。
【０１６４】なお、ここでの画像領域の特徴とは、例えばクリック位置付近の局所領域（１６×１６画素）における色（平均色、代表色など）のヒストグラムや、パターン等のことである。また、上述のように、複数の動きクリックに、同一オブジェクト番号を割り当てるということは、これらのクリックデータの間でオブジェクトのトラッキングをしていると言い換えることができる。
【０１６５】ステップＳ５２において、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ５３の処理に進み、一方、注目クリックデータが、前回のクリックとは別のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ５４の処理に進む。
【０１６６】ステップＳ５２にて、注目クリックデータが、前回のクリックとは別のオブジェクト画像をクリックしたデータであると判定されてステップＳ５４の処理に進むと、動きオブジェクト連結処理部１１０は、上述の場合と同様に、注目クリックデータに対して、新たなオブジェクト番号を割り当てを行い、その後、図１３のステップＳ１７の処理に進む。
【０１６７】また、ステップＳ５２にて、注目クリックデータが、前回の各クリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定されてステップＳ５３の処理に進むと、動きオブジェクト連結処理部１１０は、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる。
【０１６８】具体例を挙げて説明すると、例えば図１７（Ｅ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が、例えば「０」とされているとした場合において、図１７（Ｅ）中点線の×印で示す注目クリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、連続クリックで且つ動きクリックであると判定され、前回のクリックが動きクリックとなっており、さらに注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成されるオブジェクト画像の特徴に含まれているか又はそれに近い場合、動きオブジェクト連結処理部１１０は、図１７（Ｆ）中の実線の×印で示す注目クリックデータＣＬ２に対して、前回のクリックデータと同一のオブジェクト番号（この例では「０」）を割り当てる。
【０１６９】ステップＳ５３にて、注目クリックデータに、前回のクリックデータと同一のオブジェクトを割り当てた後は、図１３のステップＳ１７の処理に進む。
【０１７０】次に、図１３のステップＳ１５からステップＳ１７の処理に進んだ場合、オブジェクト画像抽出部１１３は、オブジェクト番号用メモリ１１２に記憶された、オブジェクト番号が割り当てられた過去数フレーム分に相当する各クリックデータと、画像用メモリ１０１に記憶された過去数フレームの画像データとに基づいて、注目クリックデータに対応するクリックが行われたフレーム（以下、適宜、注目フレームという）の画像データから、静止しているオブジェクト画像（静止オブジェクト画像）、動きのあるオブジェクト画像（動きオブジェクト画像）、それら以外の背景画像を抽出する。すなわち、注目フレームの画像中で、静止クリックと判定されたクリックデータの密度が高い画像部分には、静止オブジェクト画像が存在すると考えられるため、オブジェクト画像抽出部１１３は、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止クリックと判定されたクリックデータの密度（クリック密度）を求め、さらにクリック密度が高い画像部分の中で支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部１１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの分布からオブジェクトの形状を生成（特定）し、生成したオブジェクトの形状内の画像を、静止オブジェクト画像として、注目フレームの画像データから抽出する。
【０１７１】また、ステップＳ１６からステップＳ１７の処理に進んだ場合、オブジェクト画像抽出部１１３は、動きクリックと判定されたクリックデータの中で、同一オブジェクト番号が割り当てられているクリック位置付近の画像どうしのフレーム間パターンマッチング等を行い、動き補償を行った後、パターンマッチングで近似しているとみなされた画像領域においてクリック密度が高く支配的なオブジェクト番号を求める。さらに、オブジェクト画像抽出部１１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、動きオブジェクト画像として、注目フレームの画像データから抽出する。
【０１７２】また、オブジェクト画像抽出部１１３は、ステップＳ１７において、上述した静止クリック、動きクリックと判定されたクリックデータのクリック密度が低い画像部分を注目フレームの背景画像とみなす。言い換えると、オブジェクト画像抽出部１１３は、注目フレームから、静止オブジェクト画像、動きオブジェクト画像が抽出された残りの画像部分を背景画像とする。
【０１７３】ステップＳ１７の処理を詳細に説明すると、オブジェクト画像抽出部１１３は、図２０のフローチャートに示すように、先ず、ステップＳ６１として、オブジェクト番号が割り当てられた過去複数フレーム分に相当する各クリックデータと画像データとを取り込み、各クリックデータを静止クリックと動きクリック毎に分類する。そして、ステップＳ６２において、オブジェクト画像抽出部１１３は、注目クリックデータが、静止クリックまたは動きクリックのいずれであるかを判定し、その判定結果に基づいて、ステップＳ６３またはＳ６４に進む。ここで、図１３のステップＳ１５からステップＳ１７の処理に進んだ場合には、ステップＳ６２からステップＳ６３以降の処理に進むことになり、図１３のステップＳ１６からステップＳ１７の処理に進んだ場合には、ステップＳ６２からステップＳ６４以降の処理に進むことになる。
【０１７４】図１３のステップＳ１５からステップＳ１７の処理に進み、図２０においてステップＳ６２からステップＳ６４以降の処理に進むと、オブジェクト画像抽出部１１３は、先ず、過去複数フレーム分の画像に対し、オブジェクト番号が割り当てられた各クリックデータの中で静止クリックとされているクリックデータの密度（以下、クリック密度と呼ぶ）を、例えば、１６×１６画素のブロック毎に求める。
【０１７５】次に、オブジェクト画像抽出部１１３は、ステップＳ６５として、図２１（Ａ）に示すように、画像内の図中点線で示すような各１６×１６画素のブロックｂｋについて、図中×印で示す静止クリックのクリック密度が所定値以上あるか否かの判定を行う。
【０１７６】ここで、注目フレームの画像中で、静止クリックと判定されたクリックデータの密度が高い画像部分には、静止オブジェクト画像が存在すると考えられる。このため、オブジェクト画像抽出部１１３は、静止クリックのクリック密度が所定値以上となっているブロックについては、ステップＳ６６の処理を行い、一方、静止クリックのクリック密度が所定値未満となっているブロックについては、ステップＳ７０の処理を行う。
【０１７７】ステップＳ６６の処理に進むと、オブジェクト画像抽出部１１３は、静止クリックのクリック密度が所定値以上となっているブロックについて、図２１（Ｂ）に示すように、ブロック内の各クリックデータに割り当てられているオブジェクト番号のうちで発生頻度が最も高い支配的なオブジェクト番号を求め、さらに図２１（Ｃ）に示すように、それぞれ支配的なオブジェクト番号が同じとなるブロック（ＢＫ０、ＢＫ２、ＢＫ４、ＢＫ５）をまとめてオブジェクトの形状を生成する。そして、オブジェクト画像抽出部１１３は、生成したオブジェクトの形状に基づき、静止オブジェクト画像を、注目フレームの画像データから抽出する。このステップＳ６６の処理後は、図１３のステップＳ１１の処理に戻る。
【０１７８】一方、図１３のステップＳ１６からステップＳ１７の処理に進み、図２０においてステップＳ６２からステップＳ６３以降の処理に進むと、オブジェクト画像抽出部１１３は、図２１（Ｄ）に示すように、過去複数フレーム分の画像において、図中×印で示す各動きクリックとされているクリックデータのうち、それぞれ同じオブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチングを行い、さらに動き補償を行う。
【０１７９】次いで、オブジェクト画像抽出部１１３は、ステップＳ６７として、パターンマッチングで近似しているとみなされた画像領域内の動きクリックのクリック密度を求める。
【０１８０】その後、オブジェクト画像抽出部１１３は、ステップＳ６８として、図２１（Ｄ）に示すように、画像内において図中×印で示す動きクリックのクリック密度が、所定値以上あるか否かの判定を行う。
【０１８１】ここで、動き補償を行った後において、動きクリックと判定されたクリックデータの密度が高い画像部分には、動きオブジェクト画像が存在すると考えられる。このため、オブジェクト画像抽出部１１３は、動き補償後の画像において動きクリックのクリック密度が所定値以上となっている画像領域については、ステップＳ６９の処理を行い、一方、動きクリックのクリック密度が所定値未満となっている画像領域については、ステップＳ７０の処理を行う。
【０１８２】ステップＳ６９の処理に進むと、オブジェクト画像抽出部１１３は、動きクリックのクリック密度が所定値以上となっている画像領域について、各クリックデータに割り当てられているオブジェクト番号のうちで発生頻度が最も高い支配的なオブジェクト番号を求め、さらに図２１（Ｅ）に示すように、それぞれ支配的なオブジェクト番号が同じとなるブロック（ＢＫ３，ＢＫ６）をまとめてオブジェクトの形状を生成する。そして、オブジェクト画像抽出部１１３は、生成したオブジェクトの形状に基づき、動きオブジェクト画像を、注目フレームの画像データから抽出する。このステップＳ６９の処理後は、図１３のステップＳ１１の処理に戻る。
【０１８３】なお、ステップＳ６５またはステップＳ６８において、クリック密度が所定値未満と判定されたとき、すなわち、静止クリックまたは動きクリックのクリック密度が低いとき、ステップＳ７０に進み、そのようなクリック密度の低い画像部分に対応する注目フレームの領域は、背景画像領域として扱われる。言い換えると、オブジェクト画像抽出部１１３は、注目フレームから、静止オブジェクト画像、動きオブジェクト画像が抽出された残りの画像部分を背景画像とする。このステップＳ７０の処理後は、図１３のステップＳ１１の処理に戻る。
【０１８４】図１３のステップＳ１１に戻った後は、以下、同様の処理を繰り返す。
【０１８５】次に、図２２は、図９の第２オブジェクト抽出装置８２の構成例を示している。
【０１８６】第２オブジェクト抽出装置８２は、意図検出部１２０とオブジェクト抽出部１２５から構成されており、意図検出部１２０は、動き解析部１２１、動きデータベース１２２、意図解析部１２３、および動き対意図関係データベース１２４から構成され、クリックデータに基づいて、ユーザの意図を検出するようになっている。
【０１８７】動き解析部１２１は、クリックデータベース７３（図８）からユーザのクリックデータを読み出し、そのクリックデータに基づいて、ユーザがクリックした位置の動きを解析する。なお、動き解析部１２１は、ユーザによるクリック位置の動き（以下、適宜、クリック動きという）の解析を、動きデータベース１２２を参照しながら行い、その解析結果を、意図解析部１２３に供給するようになっている。
【０１８８】動きデータベース１２２は、クリック動きを解析するのに必要な情報を記憶している。
【０１８９】意図解析部１２３は、動き解析部１２１からのクリック動きの解析結果（以下、適宜、クリック動き解析情報という）に基づき、クリックを行ったユーザの意図を解析する。なお、意図解析部１２３は、ユーザの意図の解析を、動き対意図関係データベース１２４を参照しながら行い、その解析結果（以下、意図情報という）を、オブジェクト抽出部１２５に供給するようになっている。
【０１９０】動き対意図関係データベース１２４は、クリック動きと、そのクリック動きが生じた場合に推定されるユーザの意図との対応関係を記憶している。
【０１９１】オブジェクト抽出部１２５は、クリックデータベース７３（図８）からクリックデータを読み出すとともに、画像データベース７６から画像データを読み出し、クリックデータに基づき、意図解析部１２３からのユーザの意図情報を考慮して、画像データからオブジェクトを抽出する。オブジェクト抽出部１２５によるオブジェクトの抽出結果は、画像加工部７５（図８）に供給されるようになっている。
【０１９２】次に、図２３のフローチャートを参照して、意図検出部１２０による、クリックデータに基づくユーザの意図の検出処理（意図検出処理）について説明する。
【０１９３】まず最初に、ステップＳ８１において、動き解析部１２１は、注目している注目ユーザのクリックデータすべてを、クリックデータベース７３から読み出すことにより取得し、ステップＳ８２に進む。ステップＳ８２では、動き解析部１２１は、ステップＳ８１で取得した注目ユーザのすべてのクリックデータを時系列に並べたものから、任意の範囲の（任意の始点から任意の終点までの）時系列のクリックデータの集合（以下、適宜、順列集合という）を抽出し、ステップＳ８３に進む。
【０１９４】ここで、ステップＳ８２では、クリックデータについて、１つの順列集合だけでなく、複数の順列集合（範囲の異なる時系列のクリックデータの集合）を構成するようにすることが可能である。ステップＳ８２において、複数の順列集合を構成する場合には、以降の処理は、その複数の順列集合それぞれについて行われる。
【０１９５】ステップＳ８３では、動き解析部１２１は、クリックデータの順列集合を用い、動きデータベース１２２を参照して、クリック動きを解析し、ステップＳ８４に進む。ステップＳ８４では、動き解析部１２１は、クリック動きの解析結果に基づいて、クリック動きが不明かどうか、即ち、クリック動きが、動きデータベース１２２に登録された所定のものでないかどうかを判定する。
【０１９６】ステップＳ８４において、クリック動きが不明であると判定された場合、ステップＳ８５およびＳ８６をスキップして、処理を終了する。従って、この場合、クリック動きの解析結果としてのクリック動き解析情報は、意図解析部１２３に供給されない。
【０１９７】一方、ステップＳ８４において、クリック動きが不明でないと判定された場合、動き解析部１２１は、そのクリック動きの解析結果としてのクリック動き解析情報を、意図解析部１２３に供給して、ステップＳ８５に進む。
【０１９８】意図解析部１２３は、ステップＳ８５において、動き解析部１２１からクリック動き解析情報を受信し、そのクリック動き解析情報に基づいて、ユーザの意図を解析する。そして、ステップＳ８６に進み、意図解析部１２３は、ステップＳ８６におけるユーザの意図の解析結果としての意図情報を、オブジェクト抽出部１２５に出力し、処理を終了する。
【０１９９】なお、図２３の意図検出処理は、例えば、クリックデータベース７３（図８）に、注目ユーザからの、新たなクリックデータが記憶されるごとに行われる。
【０２００】次に、図２４のフローチャートを参照して、図２２の動き解析部１２１が行う、図２３のステップＳ８３におけるクリック動きの解析処理（クリック動き解析処理）について説明する。
【０２０１】動き解析部１２１は、まず最初に、ステップＳ９１において、動きデータベース１２２に記憶されている、あるクリック動きの評価方法と評価条件を取得する。
【０２０２】即ち、動きデータベース１２２は、複数のクリック動きについて、その評価方法と評価条件を記憶している。具体的には、動きデータベース１２２は、例えば、ユーザによるクリック位置の動き（変化）が、直線的であるもの、円運動的であるもの、いわゆるブラウン運動的であるもの等について、例えば、図２５および図２６に示すような評価方法と評価条件を記憶している。
【０２０３】クリック動きが、直線的な動き（以下、適宜、直線動きという）であるかどうかの評価方法としては、例えば、図２５（Ａ）に示すように、連続する２つのクリック位置（図２５において、○印で示す部分）を、そのクリック順に接続して得られるベクトル（以下、適宜、移動ベクトルという）を用い、ある移動ベクトルと、次の移動ベクトルとがなす角θを用いることが、動きデータベース１２２に記憶されている。
【０２０４】また、クリック動きが、円運動的な動き（以下、適宜、円運動という）であるかどうかの評価方法としては、例えば、図２５（Ｂ）に示すように、直線動きでない場合に、順列集合を構成するクリックデータの始点Ｓと終点Ｅ（図２５（Ｂ）において、×印で示す部分）との間の距離ＤSEを用いることが、動きデータベース１２２に記憶されている。
【０２０５】さらに、クリック動きが、ブラウン運動的な動き（以下、適宜、ブラウン運動という）であるかどうかの評価方法としては、例えば、図２５（Ｃ）に示すように、順列集合を構成するクリックデータの隣接するものどうしの距離と、その始点Ｓと終点Ｅ（図２５（Ｃ）において、×印で示す部分）との間の距離ＤSEを用いることが、動きデータベース１２２に記憶されている。
【０２０６】また、クリック動きが、直線動き、円運動、ブラウン運動等であるかどうかの評価条件としては、例えば、図２６に示すようなものが、動きデータベース１２２に記憶されている。
【０２０７】即ち、図２６の実施の形態においては、クリック動きが直線動きであると評価（解析）されるためには、移動ベクトルどうしのなす角θが、所定の閾値（例えば、３０度など）以下であるという評価条件を満たすことが必要であることになっている。
【０２０８】また、クリック動きが円運動であると評価されるためには、順列集合を構成する複数のクリックデータが、ある位置から移動して、その元の位置に戻ってくるような軌跡を描いているという評価条件を満たすことが必要であることになっている。なお、この評価条件を満たすかどうかは、例えば、クリック動きが直線動きでないこと、および順列集合を構成するクリックデータの始点Ｓと終点Ｅとの間の距離ＤSE（図２５（Ｂ））が所定の閾値以下であること、という２つの条件を満たすかどうかによって判断することができる。
【０２０９】さらに、クリック動きがブラウン運動と評価されるためには、順列集合を構成する複数のクリックデータが、その数（従って、クリックされた位置の数）に対して、始点Ｓから終点Ｅまでの距離が短いという評価条件を満たすことが必要であることになっている。なお、この評価条件を満たすかどうかは、クリック動きが円運動でないこと、および順列集合を構成する、隣接する（連続する）２つのクリックデータが表すクリック位置どうしの距離の総和に対して、その始点Ｓと終点Ｅとの間の距離ＤSE（図２５（Ｃ））が、十分に短いこと、という２つの条件を満たすかどうかによって判断することができる。
【０２１０】図２４に戻り、ステップＳ９１では、動き解析部１２１は、動きデータベース１２２に記憶されている、上述のような複数のクリック動きについての評価方法と評価条件のうち、所定のクリック動きについてのものを取得する。ここで、以下、適宜、ステップＳ９１で取得された、あるクリック動きについての評価方法と評価条件を、それぞれ、注目評価方法と注目評価条件という。
【０２１１】その後、ステップＳ９２に進み、動き解析部１２１は、注目評価方法にしたがい、クリックデータの順列集合から、評価値を算出する。
【０２１２】即ち、注目評価方法が、例えば、クリック動きが直線動きであるかどうかを評価するものである場合には、図２５（Ａ）および図２６で説明したなす角θが、評価値となるため、動き解析部１２１は、クリックデータの順列集合について、移動ベクトルを求め、さらに、すべての移動ベクトルについて、なす角θを、評価値として求める。
【０２１３】また、注目評価方法が、例えば、クリック動きが円運動であるかどうかを評価するものである場合には、図２５（Ｂ）および図２６で説明したクリックデータの始点Ｓと終点Ｅとの距離ＤSEが、評価値となるため、動き解析部１２１は、クリックデータの順列集合から、始点Ｓとなっているクリックデータと、終点Ｅとなっているクリックデータを検出し、その間の距離ＤSEを、評価値として求める。
【０２１４】さらに、注目評価方法が、例えば、クリック動きがブラウン運動であるかどうかを評価するものである場合には、図２５（Ｃ）および図２６で説明したクリックデータの始点Ｓと終点Ｅとの距離ＤSE、およびクリックデータの順列集合の連続する２つのクリックデータの距離の総和Σが、評価値となるため、動き解析部１２１は、クリックデータの順列集合から、その距離ＤSEと、総和Σを、評価値として求める。
【０２１５】ステップＳ９２において、評価値を算出した後は、ステップＳ９３に進み、動き解析部１２１は、評価値が、注目評価条件に適合するかどうか（注目評価条件を満たすかどうか）を判定する。
【０２１６】即ち、例えば、クリック動きが直線動きであるかどうかを評価する場合には、図２６で説明したように、隣接する移動ベクトルどうしがなす角θが、すべての所定の閾値以下であるかどうかが判定される。
【０２１７】また、例えば、クリック動きが円運動であるかどうかを評価する場合には、図２６で説明したように、クリック動きが円運動でなく、かつ、クリックデータの始点Ｓと終点Ｅとの距離ＤSEが所定の閾値以下であるかどうかが判定される。
【０２１８】さらに、例えば、クリック動きがブラウン運動であるかを評価する場合には、図２６で説明したように、クリック動きが円運動でなく、かつ、クリックデータの始点Ｓと終点Ｅとの距離ＤSEが、クリックデータの順列集合の連続する２つのクリックデータの距離の総和Σよりも十分小さいかどうかが判定される。
【０２１９】ステップＳ９３において、評価値が、注目評価条件に適合すると判定された場合、ステップＳ９４に進み、動き解析部１２１は、注目評価方法および注目評価条件に対応するクリック動きを表す情報を、クリック解析情報として、意図解析部１２３に出力し、処理を終了する。
【０２２０】一方、ステップＳ９３において、評価値が、注目評価条件に適合しないと判定された場合、ステップＳ９５に進み、動き解析部１２１は、まだ用いていない評価方法および評価条件が、動きデータベース１２２に記憶されているかどうかを判定する。
【０２２１】ステップＳ９５において、まだ用いていない評価方法および評価条件が、動きデータベース１２２に記憶されていると判定された場合、ステップＳ９１に戻り、その、まだ用いていない評価方法および評価条件のうちのいずれか１セットを、動きデータベース１２２から読み出し、以下、同様の処理を繰り返す。
【０２２２】また、ステップＳ９５において、まだ用いていない評価方法および評価条件が、動きデータベース１２２に記憶されていないと判定された場合、動き解析部１２１は、クリック動きが不明であるとして、処理を終了する。
【０２２３】なお、図２４の実施の形態においては、動きデータベース１２２に記憶された複数の評価方法および評価条件を、順次、注目評価方法および注目評価条件として、逐次、処理を行うようにしたが、その他、例えば、動きデータベース１２２に記憶された複数の評価方法および評価条件それぞれについて、並列に処理を行うようにすることも可能である。
【０２２４】さらに、図２４の実施の形態では、上述のように、ある評価条件に適合した時点で、その評価条件に対応するクリック動きが、クリック解析情報とされるが、その他、例えば、動きデータベース１２２に記憶された複数の評価方法および評価条件すべてについて処理を行い、その処理結果に基づいて、最終的に最も確からしいクリック動きを表す情報を、クリック解析情報として出力するようにすることも可能である。
【０２２５】次に、図２７のフローチャートを参照し、図２４のステップＳ９１において、例えば、直線動きの評価方法と評価条件が、それぞれ、注目評価方法と注目評価条件とされた場合のステップＳ９２およびＳ９３の処理について、さらに詳述する。
【０２２６】まず最初に、ステップＳ１０１において、動き解析部１２１は、クリックデータの順列集合における隣接するクリックデータを、そのクリック順に結ぶ移動ベクトルを算出し、ステップＳ１０２に進む。ここで、クリックデータの順列集合におけるｉ番目のクリックデータと、ｉ＋１番目のクリックデータとを結ぶ移動ベクトルを、以下、適宜、ｖiと記述する。
【０２２７】ステップＳ１０２では、動き解析部１２１は、移動ベクトルｖiを特定するインデックスとなる変数ｉを１に初期化し、ステップＳ１０３に進む。ステップＳ１０３では、動き解析部１２１は、移動ベクトルｖiとｖi+1とがなす角θを求め、ステップＳ１０４に進み、そのなす角θが、所定の閾値ε以下であるかどうかを判定する。
【０２２８】ステップＳ１０４において、なす角θが、閾値ε以下でないと判定された場合、ステップＳ１０８に進み、動き解析部１２１は、クリック動きが「直線動き」に適合しないと認識して、処理を終了する。
【０２２９】また、ステップＳ１０４において、なす角θが、閾値ε以下であると判定された場合、ステップＳ１０５に進み、動き解析部１２１は、変数ｉを１だけインクリメントし、ステップＳ１０６に進む。
【０２３０】ステップＳ１０６では、動き解析部１２１は、変数ｉが、順列集合を構成するクリックデータの数に等しいかどうかを判定し、等しくないと判定した場合、ステップＳ１０３に戻り、以下、同様の処理を繰り返す。
【０２３１】また、ステップＳ１０６において、変数ｉが、順列集合を構成するクリックデータの数に等しいと判定された場合、従って、クリックデータの順列集合から構成される移動ベクトルの隣接するものどうしのなす角θが、すべて閾値ε以下である場合、ステップＳ１０７に進み、動き解析部１２１は、クリック動きが「直線動き」に適合すると認識して、処理を終了する。
【０２３２】なお、図２７のステップＳ１０１乃至Ｓ１０３の処理が、図２４のステップＳ９２の処理に対応し、図２７のステップＳ１０４乃至Ｓ１０８の処理が、図２４のステップＳ９３の処理に対応する。
【０２３３】次に、図２８のフローチャートを参照して、図２２の意図解析部１２３が行う、図２３のステップＳ８５における意図解析処理について説明する。
【０２３４】まず最初に、ステップＳ１１１において、意図解析部１２３は、動き解析部１２１から供給されるクリック動き解析情報を受信し、ステップＳ１１２に進む。ステップＳ１１２では、意図解析部１２３は、画像の静動判定を行う。
【０２３５】ここで、ステップＳ１１２における静動判定では、第１オブジェクト抽出装置８１を構成する、図１２に示したオブジェクト抽出部９４の静動判定部１０３が行うのと同様の処理が、順列集合を構成するクリックデータを順次、注目クリックデータとして行われる。そして、動きクリックとされたクリックデータの方が、静止クリックされたクリックデータより多い場合には、順列集合を構成するクリックデータは、画像の動き部をクリックしたものであると判定され、逆に、静止クリックとされたクリックデータの方が多い場合には、順列集合を構成するクリックデータは、画像の静止部をクリックしたものであると判定される。
【０２３６】その後、ステップＳ２８に進み、意図解析部１２３は、動き対意図関係データベース１２４を参照し、動き解析部１２１から受信した動き解析情報と、ステップＳ１１２で得た静動判定結果を検索する。
【０２３７】即ち、動き対意図関係データベース１２４には、例えば、図２９に示すように、動き解析情報が表すクリック動き、および静動判定結果と、それらのクリック動きおよび静動判定結果から推定される、ユーザがクリックを行った意図を表す意図情報とが対応付けられて記憶されている。
【０２３８】ステップＳ２８では、このような動き対意図関係データベース１２４から、動き解析部１２１から受信した動き解析情報と、ステップＳ１１２で得た静動判定結果との組が検索され、さらに、その組に対応付けられている意図情報が読み出される。
【０２３９】ここで、図２９の実施の形態では、クリック動きが直線動きで、クリックされた画像が動き部である場合には、ユーザによるクリックは、ある動きのあるオブジェクトをトラッキング（追跡）する意図があるとされている。また、クリック動きが円運動またはブラウン運動で、クリックされた画像が静止部である場合には、ユーザによるクリックは、ある静止しているオブジェクトを注視する意図があるとされている。
【０２４０】図２８に戻り、ステップＳ２８において、動き対意図関係データベース１２４から、意図情報が読み出された後は、ステップＳ２９に進み、意図解析部１２３は、その意図情報を、オブジェクト抽出部１２５（図２２）に出力し、処理を終了する。
【０２４１】なお、動き解析部１２１から受信した動き解析情報と、ステップＳ１１２で得た静動判定結果との組が、動き対意図関係データベース１２４に登録されていない場合には、ステップＳ２８において検索を行うことができないが、その場合には、意図解析部１２３は、ユーザの意図が不明である旨の意図情報を、オブジェクト抽出部１２５に出力する。
【０２４２】また、図２８の実施の形態では、動き解析情報と、静動判定結果に基づいて、ユーザの意図を推定するようにしたが、ユーザの意図は、その他、動き解析情報にのみ基づいて推定することも可能である。
【０２４３】但し、動き解析情報だけに基づいて、ユーザの意図を推定する場合においては、複数の意図が推定される場合があり、基本的には、その複数の意図から、最も確からしいものを決定するのが望ましい。そこで、ユーザの意図が複数推定される場合においては、上述したように、動き解析情報だけでなく、静動判定結果等をも用いることで、より確からしい意図を推定することが可能となる。
【０２４４】即ち、例えば、何人かのユーザに、ある意図を持ってクリックを行ってもらう実験を行い、その実験によって、複数の意図が推定される動き解析情報については、上述の静動判定等を組み合わせ、意図の場合分けの細分化を行っておき、その細分化結果を、動き対意図関係データベース１２４に登録しておくことで、より確からしい意図を推定することが可能となる。
【０２４５】以上のような意図情報を、意図解析部１２３から受信したオブジェクト抽出部１２５は、その意図情報を考慮して、画像データベース７６（図８）に記憶された画像から、オブジェクトを抽出する。
【０２４６】即ち、意図情報が、例えば、動いているオブジェクトをトラッキングする意図を表している場合には、オブジェクト抽出部１２５は、クリックデータベース７３（図８）に記憶されたクリックデータに対応するクリック位置付近に、同一物体についてのオブジェクトがあると認識し、例えば、複数フレームについて、そのクリック位置付近においてブロックマッチング等を行うことで、その同一物体についてのオブジェクトを抽出する。
【０２４７】あるいは、また、意図情報が、静止しているオブジェクトを注視する意図を表している場合には、オブジェクト抽出部１２５は、クリックデータベース７３に記憶されたクリックデータが表す各クリック位置にある画素の周辺において、その画素と同様の色を有する画素を検出し、その検出した画素からなる領域を、オブジェクトとして抽出する。
【０２４８】なお、ここでは、意図情報に基づいて、オブジェクトを抽出するようにしたが、意図情報は、オブジェクト抽出以外の画像処理において、その処理を行うにあたって参考にすることができる。
【０２４９】即ち、図３０乃至図３６は、クリックを行った位置の解像度が高くなるという条件で行ったシミュレーション結果を示している。なお、図３０乃至図３３、並びに図３５および図３６は、シミュレーション結果としての画像を、模式的に表している。
【０２５０】図３０乃至図３３は、自動車のおもちゃが、画面の左から右方向に直線的に移動している様子を表示する動画を示しており、さらに、図３１乃至図３３においてＬ１で示す線は、ユーザがクリックを行ったクリック位置を時系列に結んだの軌跡を示している。上述の意図検出処理（図２３）によれば、図３０乃至図３３から、ユーザが、動いている自動車のおもちゃのオブジェクト画像をトラッキングしようとしている意図があることを認識することができる。
【０２５１】一方、図３４は、図３０乃至図３３に示した自動車のおもちゃのオブジェクト画像の所定の点の座標と、その座標の変化としての動きベクトル、およびユーザがクリックを行った点（クリック点）の座標と、その座標の変化としての移動ベクトルを示している。
【０２５２】図３４から、移動ベクトルは、動きベクトルと似ており、従って、ユーザが、オブジェクト画像をトラッキングしようとしている意図がある場合には、移動ベクトルに基づいて、動きベクトルの検出のためのブロックマッチングの範囲を選択することができる。即ち、ユーザがオブジェクトをトラッキングしようとしている意図を表す意図情報は、動きベクトルを検出する処理を行うにあたって、その処理のための補助的な情報として用いることができる。
【０２５３】図３５および図３６は、複数のオブジェクトが表示された画像を、模式的に表しており、さらに、図３５および図３６においてＬ２で示す線は、ユーザがクリックを行ったクリック位置を時系列に結んだ軌跡を示している。上述の意図検出処理（図２３）によれば、図３５または図３６から、ユーザが、画面右下にある、静止している物体のオブジェクト画像を注視しようとしている意図があることを認識することができる。
【０２５４】この場合、図３６に示すように、クリック位置を中心とする所定の範囲には、オブジェクト画像が含まれる。従って、ユーザがオブジェクトを注視しようとしている意図を表す意図情報は、オブジェクトを抽出する処理を行うにあたって、その処理のための補助的な情報として用いることができる。
【０２５５】即ち、ユーザがオブジェクトを注視しようとしている意図を有する場合には、クリック位置にオブジェクトが存在することが推測されるから、クリック位置付近にオブジェクトが存在することが分かり、その結果、クリック位置と同じような色の部分をオブジェクトとして抽出する方法であっても、異なる複数の色を有しているオブジェクトを、精度良く抽出することが可能となる。また、図３６において、点線の正方形は、クリック位置を中心とする正方形であるが、このような正方形の領域を抽出することにより、静止しているオブジェクトの概形を得ることができる。
【０２５６】以上のように、意図情報は、各種の画像処理を行うにあたって、補助的な情報として用いることができ、その結果、画像処理の精度を向上させることができる。
【０２５７】なお、意図解析部１２３で得られた意図情報は、第１オブジェクト抽出装置８１におけるオブジェクト抽出処理の補助的な情報としても用いることが可能である。即ち、第１オブジェクト抽出装置８１では、上述したように、クリック密度の高い部分がオブジェクトとして抽出されるが、このことは、逆に言えば、オブジェクトの領域であっても、クリック密度が低い領域が、オブジェクトとして抽出されないことが生じ得ることを意味する。そこで、ユーザがオブジェクトを注視しようとしている意図がある場合には、クリック密度が低い領域であっても、例外的に、オブジェクトとして抽出するようにすることで、より精度の高いオブジェクト抽出が可能となる。
【０２５８】また、第１オブジェクト抽出装置８１や第２オブジェクト抽出装置８２では、各ユーザのクリックデータを、ユーザごとに個別に処理するのではなく、複数のユーザのクリックデータをまとめて（複数のユーザのクリックデータを、一人のユーザのクリックデータとみなして）処理するようにすることが可能である。
【０２５９】さらに、本発明は、画像を、通信により提供するネットワークシステムの他、GUI(Graphical User Interface)等の画像を媒介としたユーザインタフェース等に適用することが可能である。本発明を、GUIに適用した場合、ユーザの意図に応じて、大きさや解像度等の異なるアイコンを表示する等の、ユーザの意図に適合した画像処理を行うことが可能となる。
【０２６０】
【発明の効果】本発明の画像処理装置および画像処理方法、並びにプログラムによれば、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きが解析され、その動きの解析結果に基づいて、ユーザの意図が解析される。そして、そのユーザの意図の解析結果に基づいて、画像データが処理される。従って、例えば、オブジェクトの抽出等を精度良く行うことが可能となる。
【０２６１】本発明のデータは、ユーザからの複数の位置情報に基づいて、ユーザが指示する位置の動きを解析し、動きの解析結果に基づいて、ユーザの意図を解析し、意図の解析結果に基づいて、画像データを処理することにより得られるものであるので、例えば、精度良くオブジェクト抽出された画像となっている。
【図面の簡単な説明】
【図１】本発明を適用したネットワークシステムの一実施の形態の構成例を示す図であある。
【図２】携帯端末１の外観構成例を示す斜視図である。
【図３】携帯端末１のカメラ部１５を回動した状態を示す斜視図である。
【図４】携帯端末１の電気的構成例を示すブロック図である。
【図５】コンテンツサーバ７のハードウェア構成例を示すブロック図である。
【図６】コンテンツサーバ７が提供する画像データを説明する図である。
【図７】コンテンツサーバ７が提供する画像データを説明する図である。
【図８】画像データを提供するコンテンツサーバ７の機能的構成例を示すブロック図である。
【図９】クリックデータ処理部７４の構成例を示すブロック図である。
【図１０】第１オブジェクト抽出装置８１の構成例を示すブロック図である。
【図１１】第１オブジェクト抽出装置８１の処理を説明するフローチャートである。
【図１２】オブジェクト抽出部９４の構成例を示すブロック図である。
【図１３】動きオブジェクト画像および静止オブジェクト画像の抽出処理を説明するフローチャートである。
【図１４】静動判定処理を説明するフローチャートである。
【図１５】フレーム間差分の計算方法を説明する図である。
【図１６】連続クリック判定処理を説明するフローチャートである。
【図１７】オブジェクト番号の付け方を説明する図である。
【図１８】静止オブジェクト連結処理を説明するフローチャートである。
【図１９】動きオブジェクト連結処理を説明するフローチャートである。
【図２０】オブジェクト抽出処理を説明するフローチャートである。
【図２１】オブジェクト抽出方法を説明する図である。
【図２２】第２オブジェクト抽出装置８２の構成例を示すブロック図である。
【図２３】第２オブジェクト抽出装置８２による意図検出処理を説明するフローチャートである。
【図２４】クリック動き解析処理を説明するフローチャートである。
【図２５】クリック動きの評価方法を示す図である。
【図２６】クリック動きの評価条件を説明する図である。
【図２７】クリック動きが直線動きであるかどうかを評価する処理を説明するフローチャートである。
【図２８】意図解析処理を説明するフローチャートである。
【図２９】動き対意図関係データベース１２４の記憶内容を示す図である。
【図３０】シミュレーション結果を示す模式図である。
【図３１】シミュレーション結果を示す模式図である。
【図３２】シミュレーション結果を示す模式図である。
【図３３】シミュレーション結果を示す模式図である。
【図３４】シミュレーションで得られた動きベクトルと移動ベクトルとを示す図である。
【図３５】シミュレーション結果を示す模式図である。
【図３６】シミュレーション結果を示す模式図である。
【符号の説明】
１1乃至１A 携帯端末， ２1乃至２B 基地局， ３ 公衆回線網， ４1乃至４C ＷＷＷサーバ， ５ インターネット， ６ アクセスサーバ， ７コンテンツサーバ， ８ 管理制御装置， １１ ヒンジ部， １２ 表示部，１３ 本体， １４ アンテナ， １５ カメラ部， １６ ＣＣＤカメラ，１７ スピーカ， １８ 液晶ディスプレイ， １９ 操作キー， １０ メモボタン， ２１ マイクロフォン， ２２ トラックボール， ２３ メモリカード， ２４ メモリスティックスロット， ３０ 主制御部， ３１ 電源回路部， ３２ 操作入力制御部， ３３ 画像エンコーダ， ３４ カメラＩ／Ｆ， ３５ ＬＥＤ制御部， ３６ 画像デコーダ， ３７ 多重分離部，３８ 変復調回路部， ３９ 音声コーデック， ４０ メインバス， ４１同期バス， ４２ 記録再生部， ４３ 送受信回路部， ５１ バス， ５２CPU， ５３ ROM， ５４ RAM， ５５ ハードディスク， ５６ 出力部， ５７ 入力部， ５８ 通信部， ５９ ドライブ， ６０ 入出力インタフェース， ６１ リムーバブル記録媒体， ７１ 送受信制御部， ７２ 登録部， ７３ クリックデータベース， ７４ クリックデータ処理部， ７５画像加工部， ７６ 画像データベース， ８１ 第１オブジェクト抽出装置， ８２ 第２オブジェクト抽出装置， ９１ クリックデータ読み出し部，９２ 画像データ読み出し部， ９３ 背景抽出部， ９４ オブジェクト抽出部， ９５ 付加情報算出部， ９６ 多重化処理部， １０１ 画像用メモリ， １０２ クリックデータ用メモリ， １０３ 静動判定部， １０４ 連続クリック判定部， １０５ 処理判定部， １０６乃至１０８ 切換選択スイッチ， １０９ オブジェクト番号割り当て部， １１０ 動きオブジェクト連結処理部， １１１ 静止オブジェクト連結処理部， １１２ オブジェクト番号用メモリ， １１３ オブジェクト画像抽出部， １１４ オブジェクト抽出結果用メモリ， １２０ 意図検出部， １２１ 動き解析部， １２２ 動きデータベース， １２３ 意図解析部， １２４ 動き対意図関係データベース，１２５ オブジェクト抽出部
【特許請求の範囲】
【請求項１】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理する画像処理装置であって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析する動き解析手段と、前記動き解析手段による解析結果に基づいて、前記ユーザの意図を解析する意図解析手段と、前記意図解析手段による解析結果に基づいて、前記画像データを処理する処理手段とを備えることを特徴とする画像処理装置。
【請求項２】 前記動き解析手段は、前記ユーザが指示する位置の動きが直線的であるかどうかを解析し、前記意図解析手段は、前記ユーザが指示する位置の動きが直線的である場合に、前記ユーザが、表示された画像上の所定のオブジェクトをトラッキングしようとする意図があると解析することを特徴とする請求項１に記載の画像処理装置。
【請求項３】 前記動き解析手段は、前記ユーザが指示する位置の動きが円運動的またはブラウン運動的であるかどうかを解析し、前記意図解析手段は、前記ユーザが指示する位置の動きが円運動的またはブラウン運動的である場合に、前記ユーザが、表示された画像上の所定のオブジェクトを注視しようとする意図があると解析することを特徴とする請求項１に記載の画像処理装置。
【請求項４】 前記処理手段は、前記意図解析手段による解析結果に基づいて、前記画像データからオブジェクトを抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】 画像を、前記ユーザの端末に提供する提供手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】 前記ユーザの端末は、携帯端末であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】 前記位置情報は、前記ユーザの端末から、所定のネットワークを介して送信されてくることを特徴とする請求項１に記載の画像処理装置。
【請求項８】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理する画像処理方法であって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析する動き解析ステップと、前記動き解析ステップによる解析結果に基づいて、前記ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記画像データを処理する処理ステップとを備えることを特徴とする画像処理方法。
【請求項９】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理する画像処理を、コンピュータに行わせるプログラムであって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析する動き解析ステップと、前記動き解析ステップによる解析結果に基づいて、前記ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記画像データを処理する処理ステップとを備えることを特徴とするプログラム。
【請求項１０】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理する画像処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体であって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析する動き解析ステップと、前記動き解析ステップによる解析結果に基づいて、前記ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記画像データを処理する処理ステップとを備えるプログラムが記録されていることを特徴とするプログラム記録媒体。
【請求項１１】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理することにより得られるデータであって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析し、前記動きの解析結果に基づいて、前記ユーザの意図を解析し、前記意図の解析結果に基づいて、前記画像データを処理することにより得られることを特徴とするデータ。
【請求項１２】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理することにより得られるデータが記録されているデータ記録媒体であって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析し、前記動きの解析結果に基づいて、前記ユーザの意図を解析し、前記意図の解析結果に基づいて、前記画像データを処理することにより得られるデータが記録されていることを特徴とするデータ記録媒体。
【請求項１】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理する画像処理装置であって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析する動き解析手段と、前記動き解析手段による解析結果に基づいて、前記ユーザの意図を解析する意図解析手段と、前記意図解析手段による解析結果に基づいて、前記画像データを処理する処理手段とを備えることを特徴とする画像処理装置。
【請求項２】 前記動き解析手段は、前記ユーザが指示する位置の動きが直線的であるかどうかを解析し、前記意図解析手段は、前記ユーザが指示する位置の動きが直線的である場合に、前記ユーザが、表示された画像上の所定のオブジェクトをトラッキングしようとする意図があると解析することを特徴とする請求項１に記載の画像処理装置。
【請求項３】 前記動き解析手段は、前記ユーザが指示する位置の動きが円運動的またはブラウン運動的であるかどうかを解析し、前記意図解析手段は、前記ユーザが指示する位置の動きが円運動的またはブラウン運動的である場合に、前記ユーザが、表示された画像上の所定のオブジェクトを注視しようとする意図があると解析することを特徴とする請求項１に記載の画像処理装置。
【請求項４】 前記処理手段は、前記意図解析手段による解析結果に基づいて、前記画像データからオブジェクトを抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】 画像を、前記ユーザの端末に提供する提供手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】 前記ユーザの端末は、携帯端末であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】 前記位置情報は、前記ユーザの端末から、所定のネットワークを介して送信されてくることを特徴とする請求項１に記載の画像処理装置。
【請求項８】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理する画像処理方法であって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析する動き解析ステップと、前記動き解析ステップによる解析結果に基づいて、前記ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記画像データを処理する処理ステップとを備えることを特徴とする画像処理方法。
【請求項９】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理する画像処理を、コンピュータに行わせるプログラムであって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析する動き解析ステップと、前記動き解析ステップによる解析結果に基づいて、前記ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記画像データを処理する処理ステップとを備えることを特徴とするプログラム。
【請求項１０】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理する画像処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体であって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析する動き解析ステップと、前記動き解析ステップによる解析結果に基づいて、前記ユーザの意図を解析する意図解析ステップと、前記意図解析ステップによる解析結果に基づいて、前記画像データを処理する処理ステップとを備えるプログラムが記録されていることを特徴とするプログラム記録媒体。
【請求項１１】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理することにより得られるデータであって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析し、前記動きの解析結果に基づいて、前記ユーザの意図を解析し、前記意図の解析結果に基づいて、前記画像データを処理することにより得られることを特徴とするデータ。
【請求項１２】 表示された画像上の位置をユーザが指示することにより得られる位置情報に基づいて、画像データを処理することにより得られるデータが記録されているデータ記録媒体であって、前記ユーザからの複数の位置情報に基づいて、前記ユーザが指示する位置の動きを解析し、前記動きの解析結果に基づいて、前記ユーザの意図を解析し、前記意図の解析結果に基づいて、前記画像データを処理することにより得られるデータが記録されていることを特徴とするデータ記録媒体。
【図１】
【図２】
【図３】
【図５】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１４】
【図１５】
【図１０】
【図１２】
【図２９】
【図１３】
【図１６】
【図１７】
【図１８】
【図２６】
【図１９】
【図２０】
【図２８】
【図３４】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２７】
【図３０】
【図３１】
【図３２】
【図３３】
【図３５】
【図３６】
【図２】
【図３】
【図５】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１４】
【図１５】
【図１０】
【図１２】
【図２９】
【図１３】
【図１６】
【図１７】
【図１８】
【図２６】
【図１９】
【図２０】
【図２８】
【図３４】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２７】
【図３０】
【図３１】
【図３２】
【図３３】
【図３５】
【図３６】
【公開番号】特開２００２−２６９５６８（Ｐ２００２−２６９５６８Ａ）
【公開日】平成１４年９月２０日（２００２．９．２０）
【国際特許分類】
【出願番号】特願２００１−７００７７（Ｐ２００１−７００７７）
【出願日】平成１３年３月１３日（２００１．３．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１４年９月２０日（２００２．９．２０）
【国際特許分類】
【出願日】平成１３年３月１３日（２００１．３．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]