画像処理システム及びプログラム
【課題】一つの画像を複数の閲覧者が閲覧しながら議論を行う場合に、各閲覧者に、当該画像に関する議論を円滑に行うための標識を提示する画像処理システムを提供する。
【解決手段】複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を対象画像の当該画像要素に対応する位置に付与し、対象画像に標識画像が付与された付与後画像を出力する画像処理システムである。
【解決手段】複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を対象画像の当該画像要素に対応する位置に付与し、対象画像に標識画像が付与された付与後画像を出力する画像処理システムである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
通信手段の発達に伴い、例えば遠隔会議システムなど、離れた通信先に対して画像を配信する技術が登場している。このような技術によれば、一方のシステムから送信された画像が、当該システム及び送信先のシステムの両方で表示されることによって、離れた位置にいる複数の閲覧者によって同じ画像が閲覧される。このような技術の一例として、特許文献１には、遠隔地との間で共有される画像の決まった位置にラベルをオーバレイする技術が開示されている。また、画像をスクリーンに投影する画像投影装置など、同じ場所にいる複数の閲覧者に同時期に画像を閲覧させるための画像表示装置も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１３００７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、一つの画像を複数の閲覧者が閲覧しながら議論を行う場合に、各閲覧者に、当該画像に関する議論を円滑に行うための標識を提示する画像処理システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１記載の発明は、画像処理システムであって、複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を、前記対象画像の当該画像要素に対応する位置に付与する標識画像付与手段と、前記対象画像に前記標識画像が付与された付与後画像を出力する画像出力手段と、を含むことを特徴とする。
【０００６】
請求項２記載の発明は、請求項１記載の画像処理システムであって、前記標識画像付与手段は、前記対象画像内に画像要素の追加変更がなされる場合に、当該追加の画像要素に対応づけて、他の画像要素に対応づけられている標識画像とは異なる標識画像を付与することを特徴とする。
【０００７】
請求項３記載の発明は、請求項２記載の画像処理システムであって、前記標識画像付与手段は、前記対象画像から画像要素の削除変更がなされた場合に、当該画像要素に対応づけられている標識画像を削除するものであり、前記追加の画像要素に対応づけて付与する標識画像は前記削除された標識画像も含めて他の画像要素に対応づけられている標識画像とは異なる標識画像であることを特徴とする。
【０００８】
請求項４記載の発明は、請求項１から３のいずれか一項記載の画像処理システムであって、前記標識画像付与手段は、前記対象画像が文書を表す画像である場合に、当該文書に対して構造解析を行った結果に基づいて、前記標識画像を対応づける画像要素を特定することを特徴とする。
【０００９】
請求項５記載の発明は、請求項１から４のいずれか一項記載の画像処理システムであって、画像を複数の閲覧者が閲覧可能に表示する表示手段をさらに備え、前記表示手段は前記複数の閲覧者の間での議論の開始を検出したタイミングで、前記付与後画像を表示することを特徴とする。
【００１０】
請求項６記載の発明は、請求項５記載の画像処理システムであって、前記複数の閲覧者の間での議論の終了を検出したタイミングで、前記付与後画像の表示を終了することを特徴とする。
【００１１】
請求項７記載の発明は、複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を、前記対象画像の当該画像要素に対応する位置に付与する標識画像付与手段、及び前記対象画像に前記標識画像が付与された付与後画像を出力する画像出力手段、としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１２】
請求項１及び７記載の発明によれば、付与後画像を閲覧して、画像要素に対応する標識画像を用いて該画像要素を表現することができるようになる。
【００１３】
請求項２記載の発明によれば、付与後画像を閲覧して、追加された画像要素についても画像要素に対応しかつ他の画像要素に対応づけられている標識画像とは異なる標識画像を用いて対象とする画像要素を表現することができるようになる。
【００１４】
請求項３記載の発明によれば、付与後画像を閲覧して、追加された画像要素について、削除された画像要素も含めて他の画像要素に対応づけられている標識画像とは異なる標識画像を用いて対象とする画像要素を表現することができるようになる。
【００１５】
請求項４記載の発明によれば、付与後画像を閲覧して、文書の構造に基づいて付与された標識画像を用いて対象とする画像要素を表現することができるようになる。
【００１６】
請求項５記載の発明によれば、閲覧者は議論の開始の検出されたあとは付与後画像を複数の閲覧者で閲覧することができる。
【００１７】
請求項６記載の発明によれば、閲覧者は議論の終了が検出されるまでは付与後画像を複数の閲覧者で閲覧することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係る画像処理システムの概要図である。
【図２】本発明の実施の形態に係る画像処理装置の構成を示す図である。
【図３】本発明の実施の形態に係る画像処理装置が実現する機能を示す機能ブロック図である。
【図４】標識画像が付与された対象画像の一例を示す図である。
【図５】本発明の実施の形態に係る画像処理装置が実行する処理の流れの一例を示すフロー図である。
【図６】本発明の実施の形態に係る画像処理装置が実行する処理の流れの別の例を示すフロー図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２０】
図１は、本発明の一実施形態に係る画像処理システム１の概要を示す図である。本実施形態に係る画像処理システム１は、画像処理装置１１と、画像表示装置１２と、操作パネル１３と、マイクロフォン１４と、スピーカ１５と、を含んで構成されている。また、画像処理システム１は、ＬＡＮやインターネット等の通信手段を介して、別の場所に設置された画像処理システム（以下、通信先システム２という）と通信接続される。なお、通信先システム２は画像処理システム１と同様の構成を備える画像処理システムであってもよいし、画像処理システム１とは異なるシステム構成であってもよい。
【００２１】
以下では、画像処理システム１が設置された場所を拠点Ａ、通信先システム２が設置された場所を拠点Ｂと表記する。また、拠点Ａで画像処理システム１を利用する利用者を利用者Ｕａ、拠点Ｂで通信先システム２を利用する利用者を利用者Ｕｂと表記する。本実施形態では、画像処理システム１と通信先システム２とが互いに通信接続されて画像及び音声情報を送受信することにより、利用者Ｕａと利用者Ｕｂとの間での遠隔会議が実現される。なお、拠点Ａ及び拠点Ｂのいずれにおいても複数の利用者が同時期に会議に参加することとしてもよい。
【００２２】
画像処理装置１１は、例えばパーソナルコンピュータ等であって、図２に示すように、制御部２１と、記憶部２２と、通信部２３と、インタフェース部２４と、を含んで構成される。
【００２３】
制御部２１は、ＣＰＵ等を含んで構成され、記憶部２２に格納されるプログラムに従って各種の情報処理を実行する。本実施形態において制御部２１が実行する処理の具体例については、後述する。記憶部２２は、ＲＡＭやＲＯＭ、ハードディスク等を含んで構成され、制御部２１によって実行されるプログラムや、各種のデータを保持する。また、記憶部２２は、制御部２１のワークメモリとしても動作する。
【００２４】
通信部２３は、例えばＬＡＮカード等の通信インタフェースであって、ＬＡＮやインターネット等の通信手段を介した画像処理装置１１と他の通信機器との間のデータ送受信を中継する。本実施形態では、通信部２３を介して、通信先システム２との間で画像や音声のデータが送受信される。
【００２５】
インタフェース部２４は、制御部２１と、画像表示装置１２や操作パネル１３、マイクロフォン１４、スピーカ１５と、の間の情報の授受を中継する。具体的に、インタフェース部２４は、制御部２１からの指示に従って、画像表示装置１２及び操作パネル１３のそれぞれに表示させる画像を表す映像信号を出力する。これにより、画像処理装置１１は、画像表示装置１２及び操作パネル１３それぞれの表示画面に各種の画像を表示する。また、インタフェース部２４は、画像表示装置１２及び操作パネル１３のそれぞれから入力される利用者の操作に関する情報を制御部２１に対して出力する。また、インタフェース部２４は、マイクロフォン１４から入力される音声信号を制御部２１に対して出力するとともに、制御部２１の指示に従ってスピーカ１５に対して音声信号を出力する。
【００２６】
画像表示装置１２は、画像処理装置１１から入力される映像信号に応じた画像を表示画面上に表示する。画像表示装置１２による表示対象となるのは、例えば、プレゼンテーション用の文書を作成するアプリケーションプログラムを用いて作成された文書画像である。本実施形態においては、この画像表示装置１２に表示される画像が、ＶＮＣ（Virtual Network Computing）などの技術によって画像処理装置１１から通信先システム２に送信され、通信先システム２内の画像表示装置にも表示される。これによって、利用者Ｕａと利用者Ｕｂとは、同じ画像を閲覧しながら会議を行うことになる。なお、以下では、通信先システム２との間で共有され、利用者Ｕａ及び利用者Ｕｂという複数の閲覧者による閲覧の対象となる画像を、対象画像Ｉという。
【００２７】
また、画像表示装置１２は、表示画面上においてペン等が触れた位置を検知して、その位置を示す情報を画像処理装置１１に対して出力する機能を備えてもよい。この場合、画像処理装置１１は、この位置情報に応じて、表示画面に表示中の対象画像Ｉを、元の文書画像にペンなどの動いた軌跡を示す付加画像を重ね合わせた画像に更新する。これによって、利用者Ｕａがあたかもホワイトボードにメモを書き込むように表示画面上でペンを動かす操作を行うことで、このメモ内容が追加された対象画像Ｉが表示画面に表示される。なお、表示画面上におけるペン等の接触位置の検知は、表示画面に重ねて配置された感圧式センサや、光学的に物体の位置を検知する受光装置など、各種の方式で実現されてよい。
【００２８】
操作パネル１３は、利用者Ｕａが画像処理装置１１に対して各種の指示を入力するために用いられる操作デバイスである。本実施形態では、操作パネル１３はタッチパネルであって、画像処理装置１１から出力されるメニュー画面等の画像を表示画面に表示するとともに、利用者Ｕａが当該表示画面を指で触れることによって入力する操作指示に関する情報を、画像処理装置１１に対して出力する。なお、本実施形態に係る画像処理システム１は、操作パネル１３に代えて、例えばディスプレイ装置とマウス、キーボードなど、他のユーザインタフェースデバイスを備えてもよい。
【００２９】
マイクロフォン１４は、周辺の音声を集音して、その音声信号を画像処理装置１１に対して出力する。このマイクロフォン１４によって、利用者Ｕａの発する声が集音される。具体的に、本実施形態では、遠隔会議中、対象画像Ｉが画像表示装置１２に表示された状態において、利用者Ｕａがこの対象画像Ｉに関して発言を行う。マイクロフォン１４はこの利用者Ｕａの声を集音して得られる音声情報を画像処理装置１１に対して出力する。この音声情報は、画像処理装置１１によって通信先システム２に送信され、拠点Ｂにおいて利用者Ｕａの発言として通信先システム２に備えられたスピーカから出力される。
【００３０】
スピーカ１５は、画像処理装置１１から出力される音声信号に従って音声を再生する。本実施形態においては、拠点Ｂにおいて利用者Ｕｂによって発せられた声が、通信先システム２内のマイクロフォンによって集音され、通信先システム２から画像処理装置１１に送信される。スピーカ１５は、この利用者Ｕｂの音声を再生する。
【００３１】
以下、本実施形態に係る画像処理装置１１が実現する機能について、説明する。画像処理装置１１は、機能的に、図３に示すように、対象画像取得部３１と、標識画像付与部３２と、表示用画像出力部３３と、を含んで構成される。これらの機能は、画像処理装置１１の制御部２１が記憶部２２に格納されるプログラムを実行することにより、実現される。このプログラムは、インターネット等の通信手段を介して提供されてもよいし、光ディスク等の各種のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
【００３２】
対象画像取得部３１は、複数の閲覧者による閲覧の対象となる対象画像Ｉを取得する。具体例として、対象画像取得部３１は、利用者Ｕａの指示に従って、メモリカード等の情報記憶媒体から対象画像Ｉを含んだプレゼンテーションデータ等を読み出すことによって、対象画像Ｉを取得する。あるいは対象画像取得部３１は、通信手段を介して接続された他のサーバコンピュータ等からプレゼンテーションデータ等を受信することによって、対象画像Ｉを取得することとしてもよい。
【００３３】
標識画像付与部３２は、対象画像取得部３１が取得した対象画像Ｉに含まれる画像要素Ｃのそれぞれについて、当該画像要素Ｃの呼称を表す標識画像Ｍを、対象画像Ｉの当該画像要素Ｃに対応する位置に付与する。具体的に、まず標識画像付与部３２は、対象画像Ｉの画像解析を行い、当該対象画像Ｉ内に含まれる画像要素Ｃそれぞれの位置及び大きさを特定する。
【００３４】
ここで、画像要素Ｃは、対象画像Ｉ内の一定の範囲を占める、意味的にまとまった画像の構成単位を指している。具体例として、画像要素Ｃは、対象画像Ｉに含まれる図や、表、絵柄、写真などであってもよいし、連続して配列された文字列（すなわち、文や段落など）であってもよい。
【００３５】
このような対象画像Ｉに含まれる画像要素Ｃの特定は、各種の方法により実現される。例えば対象画像Ｉが文書の内容を表す画像である場合、標識画像付与部３２は、当該文書に対して構造解析を行った結果に基づいて、この文書の構成要素（章や節、図表、参考文献等）を、標識画像Ｍを対応づける画像要素Ｃとして特定してもよい。文書の構造解析の具体例として、例えば特開２００１−３１２４８９号公報には、文書データに含まれる章番号や、図番号などを用いて構造解析を行う手法が開示されている。また、特開平５−９４５３５号公報には、画像中に含まれる空白領域（白ラン）を用いて文書の構造解析を行う手法が開示されている。また、対象画像Ｉを表すデータが構造化文書データ（例えばＨＴＭＬファイル等）の場合、標識画像付与部３２は、構造化文書に含まれるタグによって特定される段落や図表、絵柄などを画像要素Ｃとして抽出してもよい。
【００３６】
また、標識画像付与部３２は、公知のＴ／Ｉ（Text/Image）分離処理や、特開平５−１３５１７１号公報に開示されるような各画像要素の境界検出技術、特開平５−２０４２９号公報に開示されるような画像要素のパターンマッチング技術などを用いて、対象画像Ｉに含まれる画像要素Ｃを画定してもよい。
【００３７】
上述したような方法によって対象画像Ｉに含まれる画像要素Ｃを特定した後、標識画像付与部３２は、特定された画像要素Ｃのそれぞれについて、当該画像要素Ｃの呼称を表す標識画像Ｍを、対象画像Ｉ内の当該画像要素Ｃに対応する位置に付与する。具体例として、この標識画像Ｍは、「１」、「２」、「３」、・・・などの番号や、「Ａ」、「Ｂ」、「Ｃ」、・・・などの文字、あるいは各種の記号などを表す画像であってよい。標識画像Ｍは、対象画像Ｉに含まれる各画像要素Ｃに対応づけて、かつ互いに異なるように付与される。利用者Ｕａ及びＵｂが、この標識画像Ｍによって表される呼称で各画像要素Ｃを呼びながら、当該画像要素Ｃに関する発言を行うこととすれば、画像のどの部分を問題にしているかがお互い誤解なく意思疎通されるようになり、対象画像Ｉに関する議論が円滑に行われる。
【００３８】
既に述べたように、標識画像Ｍのそれぞれは、対象画像Ｉ内において、当該標識画像Ｍが指し示す画像要素Ｃの位置に対応する位置に配置される。ここで対応する位置とは、画像要素Ｃ近傍で、画像要素Ｃに対して決まった方向の位置であってもよいし、画像要素Ｃ近傍の比較的他の画像要素Ｃとは離れた位置に定められてもよい。このような標識画像Ｍと画像要素Ｃとの対応関係を明確にするため、例えば引き出し線など、標識画像Ｍと当該標識画像Ｍによって指し示される画像要素Ｃとを結びつける画像が配置されてもよい。
【００３９】
図４は、標識画像Ｍが付与された対象画像Ｉの一例を示す図である。この図の例では、対象画像Ｉの上半分に配置された文字列（画像要素Ｃ１）に対して、「１」という数字及び当該数字を囲む囲み線からなる標識画像Ｍ１が対応づけられている。また、左下に配置された表（画像要素Ｃ２）に対しては「２」という数字を含んだ標識画像Ｍ２が、右下に配置された図（画像要素Ｃ３）に対しては「３」という数字を含んだ標識画像Ｍ３が、それぞれ対応づけられている。
【００４０】
なお、標識画像付与部３２は、対象画像Ｉ内に既に存在する符号とは異なる種類の符号を、標識画像Ｍとして対象画像Ｉに付与することとしてもよい。例えば対象画像Ｉに含まれる画像要素Ｃを特定する際に、パターンマッチング等の画像処理によって、図表や章を指し示す番号（数字）が検出された場合、標識画像付与部３２は、このような番号とは異なる種類（アルファベットや記号など）の符号を表す画像を標識画像Ｍとして用いることとする。こうすれば、利用者Ｕａ及びＵｂが標識画像Ｍによって表される呼称を用いて議論を行う際に、このような呼称によって指し示される画像要素Ｃが他の画像要素Ｃと混同される状態が避けられる。また、標識画像付与部３２は、予め定められた大きさ以上の画像要素Ｃなど、予め定められた条件を満たす画像要素Ｃにだけ、標識画像Ｍを対応づけて付与することとしてもよい。
【００４１】
表示用画像出力部３３は、対象画像Iに対して標識画像Ｍが付与されてなる画像（付与後画像）を、表示用画像Ｉｄとして出力する。具体的に、本実施形態では、表示用画像出力部３３は、標識画像付与部３２によって対象画像Iに標識画像Ｍが付与された付与後画像を、表示用画像Ｉｄとしてインタフェース部２４を介して画像表示装置１２に表示させるとともに、通信部２３を介して通信先システム２に対して送信し、通信先システム２内の画像表示装置にも表示させる。これにより、利用者Ｕａ及びＵｂの双方に標識画像Ｍを含んだ表示用画像Ｉｄが提示される。
【００４２】
ここで、表示用画像出力部３３は、遠隔会議が行われている間、常に標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力する必要はない。例えば、複数の閲覧者のうちの一人が当該対象画像Ｉを用いて発表を行う発表者であり、その他の閲覧者は当該発表を聴く聴衆である場合、発表者が主体的に発表を行っている間は、各画像要素Ｃを識別して呼称する必要は比較的少ない。一方、聴衆が発表者に対して質問を行うなどして、閲覧者間で議論が始まった場合には、各画像要素Ｃを特定しながら発言を行いたい場面が生じる。そこで、表示用画像出力部３３は、複数の閲覧者の間で議論が開始されたことを検出し、当該検出したタイミングで、標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力することとし、議論の開始を検出するまでは、標識画像Ｍが付与されない対象画像Ｉそのものを表示用画像Ｉｄとして出力することとしてもよい。さらに表示用画像出力部３３は、複数の閲覧者の間での議論の終了も検出することとし、当該検出したタイミングで、標識画像Ｍが付与された表示用画像Ｉｄの出力を終了し、標識画像Ｍを消去した対象画像Ｉを再び表示用画像Ｉｄとして出力してもよい。
【００４３】
具体的に、例えば表示用画像出力部３３は、発表者の音声の特徴（声紋等）を予め特定しておき、マイクロフォン１４から入力される音声信号や通信先システム２から送信される音声信号を解析した結果、当該発表者以外の閲覧者の音声を検出したときに、議論が開始したと判断し、標識画像Ｍが付与された表示用画像Ｉｄを出力する。そして、新たな画像（例えば複数の文書画像やスライド画像のうちの次の画像）を対象画像Ｉとして表示すべき指示を受け付けた場合には、議論が終了したと判定し、新たな対象画像Ｉには標識画像Ｍを付与せずに出力する。また、画像表示装置１２の表示画面より大きな対象画像Ｉの一部が表示画面に表示されている場合、表示用画像出力部３３は、対象画像Ｉをスクロールさせてこれまで表示されていなかった部分を表示させる指示を受け付けた場合に、議論が終了したと判定してもよい。さらに表示用画像出力部３３は、予め定められた時間以上にわたって発表者以外の閲覧者の音声が検出されない状態が続いた場合に、議論が終了したと判定してもよい。
【００４４】
以下、このように画像処理装置１１によって議論開始の検出が行われる場合に、画像処理装置１１の制御部２１が実行する処理の流れの一例について、図５のフロー図を用いて説明する。
【００４５】
まず制御部２１は、利用者Ｕａの操作パネル１３に対する指示に従って、新たな対象画像Ｉを表示用画像Ｉｄとして出力する（Ｓ１）。このとき出力される表示用画像Ｉｄは、標識画像Ｍが付与されていない画像である。さらに制御部２１は、発表者の音声特徴情報を未設定状態に初期化する（Ｓ２）。
【００４６】
その後、制御部２１は、マイクロフォン１４から入力される音声信号や通信先システム２から送信される音声信号を解析し、その中に含まれる声の特徴を特定する話者認識処理を行う。これによって、発言を行った発言者の音声特徴情報が取得される（Ｓ３）。続いて制御部２１は、発表者の音声特徴情報が設定済みか否かを判定する（Ｓ４）。最初はＳ２の初期化処理によって発表者の音声特徴情報は未設定の状態になっているので、Ｓ４の判定結果に応じて、制御部２１はＳ３で取得した音声特徴情報を発表者の音声特徴情報として設定する（Ｓ５）。すなわち、対象画像Ｉの表示後、最初に発言を行った発言者が発表者とみなされ、その音声特徴情報が登録されることになる。
【００４７】
Ｓ５の処理が終わると、Ｓ３に戻って定期的に発言者の音声特徴情報を取得する処理が繰り返される。ここで、２回目以降にＳ３の処理が実行されたときには、既にＳ５で発表者の音声特徴情報が設定済みになっているので、Ｓ４の判定結果に応じて、制御部２１は、新たにＳ３の処理で取得した音声特徴情報が発表者の音声特徴情報か否かの判定を行う（Ｓ６）。新たに取得した音声特徴情報が発表者の音声特徴情報と一致する場合、発表者が発表を続けていると考えられるので、Ｓ３に戻って定期的に発言者の音声特徴情報を取得する処理が繰り返される。
【００４８】
一方、Ｓ６で新たに取得した音声特徴情報が発表者の音声特徴情報ではないと判定された場合、発表者とは別の新たな閲覧者が発言を行ったことになる。この場合、制御部２１は閲覧者間の議論が開始されたと判断して、対象画像Ｉに標識画像Ｍを付与する処理を行い（Ｓ７）、標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力する（Ｓ８）。その後は、画像の切り替え指示など、議論の終了と判断される状態が検出されたか否かを定期的に判定し、議論の終了と判断されれば標識画像Ｍが付与された表示用画像Ｉｄの出力が終了される。
【００４９】
なお、ここでは議論の開始が検出された後に、対象画像Ｉへの標識画像Ｍの付与が実行されることとしたが、標識画像付与部３２は、対象画像Ｉの表示が開始された時点で、対象画像Ｉに含まれる画像要素Ｃを特定し、付与すべき標識画像Ｍの内容及び位置を決定する処理を実行しておいてもよい。あるいは、対象画像Ｉの表示が開始される前に、予めこのような処理が実行されてもよい。こうすれば、議論の開始が検出された後、すぐに標識画像Ｍが付与された表示用画像Ｉｄが出力される。
【００５０】
また、ここでは対象画像Ｉの表示開始後に最初に取得された音声特徴情報を直ちに発表者の音声特徴情報として設定することとしたが、他の閲覧者が最初に発言をしてしまう場合も考えられる。そこで、制御部２１は、対象画像Ｉの表示開始後、予め定められた回数又は時間にわたって発言者の音声特徴情報を取得する処理を実行し、最も多く取得された音声特徴情報を発表者の音声特徴情報として登録してもよい。
【００５１】
なお、画像処理装置１１が利用者Ｕａの指示操作に応じて対象画像Ｉの修正（内容の変更）を行うためのインタフェースを備えている場合、利用者間の議論に応じて利用者Ｕａが対象画像Ｉを修正する操作を行うことも考えられる。具体的には、画像表示装置１２の表示画面に対して利用者Ｕａがペン等を接触させて文字等を書き込む操作や、キーボードやマウス等により対象画像Ｉの電子データを直接編集する操作などである。表示用画像出力部３３は、このような対象画像Ｉの内容を変更する操作を受け付けた場合に、議論が開始されたと判断してもよい。
【００５２】
さらに、標識画像Ｍを付与した表示用画像Ｉｄを出力中にこのような対象画像Ｉの修正が行われる場合、標識画像付与部３２は、対象画像Ｉの内容変更に伴って、標識画像Ｍを付与し直す処理を実行してもよい。具体的に、標識画像付与部３２は、対象画像Ｉ内に新たな画像要素Ｃを追加する修正がなされる場合、当該追加される画像要素Ｃに対応づけて、他の画像要素に対応づけられている標識画像Ｍとは異なる標識画像Ｍを新たに付与する。また、対象画像Ｉから画像要素Ｃを削除する修正がなされる場合、当該画像要素Ｃに対応づけられている標識画像Ｍも削除する。これによって、対象画像Ｉの内容に変更が生じても、変更後の対象画像Ｉに含まれる画像要素Ｃを対象とした議論を行うための標識画像Ｍが表示された状態が保たれる。
【００５３】
また、画像要素Ｃを削除する修正に伴って、当該画像要素Ｃに対応づけられている標識画像Ｍを削除した後、さらに対象画像Ｉ内に新たな画像要素Ｃを追加する修正がなされる場合、標識画像付与部３２は、当該追加される画像要素Ｃに対応づけて、現在付与されている他の標識画像Ｍだけではなく、過去に削除された標識画像Ｍとも異なる標識画像Ｍを付与することとしてもよい。
【００５４】
具体例として、図４に例示したように一つの対象画像Ｉ内に３個の画像要素Ｃ１〜Ｃ３及びこれらに対応する３個の標識画像Ｍ１〜Ｍ３が含まれており、その後、利用者Ｕａの指示に応じて画像要素Ｃ２が削除されたとする。このとき、画像要素Ｃ２に対応づけられている標識画像Ｍ２も削除される。その後、新たに画像要素Ｃ４が追加されたときには、既に削除された数字の２を含んだ標識画像Ｍ２ではなく、例えば数字の４を含んだ標識画像Ｍ４を当該画像要素Ｃ４に対応づけて付与する。こうすれば、既に削除済みの画像要素Ｃも含めて、対象画像Ｉ内に含まれる各画像要素Ｃが標識画像Ｍによって識別される。
【００５５】
以下、対象画像Ｉの修正指示を受け付けた場合に制御部２１が実行する処理の流れの一例について、図６のフロー図を用いて説明する。
【００５６】
まず制御部２１は、当該修正指示を受け付けた時点で議論の開始が既に検出済みか否かを判定する（Ｓ１１）。この判定は、例えば記憶部２２に格納された議論開始フラグを参照することで行われる。
【００５７】
議論の開始が検出されていない場合、制御部２１は、当該修正指示を議論の開始とみなして、議論開始フラグをオンに更新する（Ｓ１２）。そして、前述したＳ７と同様に対象画像Ｉに標識画像Ｍを付与する処理を行い（Ｓ１３）、標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力する（Ｓ１４）。
【００５８】
一方、Ｓ１１において既に議論の開始が検出されていると判定される場合、現時点で制御部２１は標識画像Ｍの付与された表示用画像Ｉｄが出力中であることになる。この場合、制御部２１は、受け付けた修正指示に応じて修正される対象画像Ｉ内の領域を特定する（Ｓ１５）。そして、当該特定された領域と重なる画像要素Ｃの解析を行い、標識画像Ｍの再付与を行う（Ｓ１６）。具体的に、制御部２１は、新たに追加された画像要素Ｃに対応する標識画像Ｍを追加したり、削除された画像要素Ｃに対応する標識画像Ｍを削除したり、位置が変更された画像要素Ｃに対応する標識画像Ｍの位置を更新したりする。そして、制御部２１は、Ｓ１６の処理によって標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力する（Ｓ１４）。
【００５９】
なお、以上の説明においては、画像処理装置１１が標識画像Ｍの付与された表示用画像Ｉｄを生成して通信先システム２に送信することとしている。しかしながら、本発明の実施の形態はこのようなものに限られない。例えば画像処理装置１１は、対象画像Ｉに標識画像Ｍを付与して表示用画像Ｉｄとして画像表示装置１２に対して出力する一方で、通信先システム２に対しては対象画像Ｉ自体を送信することとしてもよい。この場合、拠点Ａと拠点Ｂとの間で同じ標識画像Ｍが付与された対象画像Ｉを共有するために、通信先システム２においても画像処理装置１１から受信した対象画像Ｉに対して標識画像Ｍを付与する処理が実行される。このとき、画像処理装置１１は、通信先システム２に対して標識画像Ｍの付与を開始するタイミングや、標識画像Ｍが付与された表示用画像Ｉｄの出力を終了すべきタイミングを指示することとしてもよい。さらに画像処理装置１１は、このようなタイミングに係る情報だけでなく、対象画像Ｉに対して付与すべき標識画像Ｍの内容及び位置を指定する情報についても、通信先システム２に対して送信することとしてもよい。
【００６０】
また、以上の説明では、遠隔地間で共有される対象画像Ｉに対して標識画像Ｍを付与する例について説明したが、これに限らず、画像処理装置１１は、プロジェクタ等の画像表示装置に対して標識画像Ｍが付与された表示用画像Ｉｄを出力することとしてもよい。これにより、一つの拠点において複数の閲覧者が閲覧する対象画像Ｉについても、当該対象画像Ｉに関する議論が行われる際に、対象画像Ｉに含まれる画像要素Ｃに対して標識画像Ｍが付与されることとなる。
【符号の説明】
【００６１】
１ 画像処理システム、２ 通信先システム、１１ 画像処理装置、１２ 画像表示装置、１３ 操作パネル、１４ マイクロフォン、１５ スピーカ、２１ 制御部、２２ 記憶部、２３ 通信部、２４ インタフェース部、３１ 対象画像取得部、３２ 標識画像付与部、３３ 表示用画像出力部。
【技術分野】
【０００１】
本発明は、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
通信手段の発達に伴い、例えば遠隔会議システムなど、離れた通信先に対して画像を配信する技術が登場している。このような技術によれば、一方のシステムから送信された画像が、当該システム及び送信先のシステムの両方で表示されることによって、離れた位置にいる複数の閲覧者によって同じ画像が閲覧される。このような技術の一例として、特許文献１には、遠隔地との間で共有される画像の決まった位置にラベルをオーバレイする技術が開示されている。また、画像をスクリーンに投影する画像投影装置など、同じ場所にいる複数の閲覧者に同時期に画像を閲覧させるための画像表示装置も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１３００７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、一つの画像を複数の閲覧者が閲覧しながら議論を行う場合に、各閲覧者に、当該画像に関する議論を円滑に行うための標識を提示する画像処理システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１記載の発明は、画像処理システムであって、複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を、前記対象画像の当該画像要素に対応する位置に付与する標識画像付与手段と、前記対象画像に前記標識画像が付与された付与後画像を出力する画像出力手段と、を含むことを特徴とする。
【０００６】
請求項２記載の発明は、請求項１記載の画像処理システムであって、前記標識画像付与手段は、前記対象画像内に画像要素の追加変更がなされる場合に、当該追加の画像要素に対応づけて、他の画像要素に対応づけられている標識画像とは異なる標識画像を付与することを特徴とする。
【０００７】
請求項３記載の発明は、請求項２記載の画像処理システムであって、前記標識画像付与手段は、前記対象画像から画像要素の削除変更がなされた場合に、当該画像要素に対応づけられている標識画像を削除するものであり、前記追加の画像要素に対応づけて付与する標識画像は前記削除された標識画像も含めて他の画像要素に対応づけられている標識画像とは異なる標識画像であることを特徴とする。
【０００８】
請求項４記載の発明は、請求項１から３のいずれか一項記載の画像処理システムであって、前記標識画像付与手段は、前記対象画像が文書を表す画像である場合に、当該文書に対して構造解析を行った結果に基づいて、前記標識画像を対応づける画像要素を特定することを特徴とする。
【０００９】
請求項５記載の発明は、請求項１から４のいずれか一項記載の画像処理システムであって、画像を複数の閲覧者が閲覧可能に表示する表示手段をさらに備え、前記表示手段は前記複数の閲覧者の間での議論の開始を検出したタイミングで、前記付与後画像を表示することを特徴とする。
【００１０】
請求項６記載の発明は、請求項５記載の画像処理システムであって、前記複数の閲覧者の間での議論の終了を検出したタイミングで、前記付与後画像の表示を終了することを特徴とする。
【００１１】
請求項７記載の発明は、複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を、前記対象画像の当該画像要素に対応する位置に付与する標識画像付与手段、及び前記対象画像に前記標識画像が付与された付与後画像を出力する画像出力手段、としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１２】
請求項１及び７記載の発明によれば、付与後画像を閲覧して、画像要素に対応する標識画像を用いて該画像要素を表現することができるようになる。
【００１３】
請求項２記載の発明によれば、付与後画像を閲覧して、追加された画像要素についても画像要素に対応しかつ他の画像要素に対応づけられている標識画像とは異なる標識画像を用いて対象とする画像要素を表現することができるようになる。
【００１４】
請求項３記載の発明によれば、付与後画像を閲覧して、追加された画像要素について、削除された画像要素も含めて他の画像要素に対応づけられている標識画像とは異なる標識画像を用いて対象とする画像要素を表現することができるようになる。
【００１５】
請求項４記載の発明によれば、付与後画像を閲覧して、文書の構造に基づいて付与された標識画像を用いて対象とする画像要素を表現することができるようになる。
【００１６】
請求項５記載の発明によれば、閲覧者は議論の開始の検出されたあとは付与後画像を複数の閲覧者で閲覧することができる。
【００１７】
請求項６記載の発明によれば、閲覧者は議論の終了が検出されるまでは付与後画像を複数の閲覧者で閲覧することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係る画像処理システムの概要図である。
【図２】本発明の実施の形態に係る画像処理装置の構成を示す図である。
【図３】本発明の実施の形態に係る画像処理装置が実現する機能を示す機能ブロック図である。
【図４】標識画像が付与された対象画像の一例を示す図である。
【図５】本発明の実施の形態に係る画像処理装置が実行する処理の流れの一例を示すフロー図である。
【図６】本発明の実施の形態に係る画像処理装置が実行する処理の流れの別の例を示すフロー図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２０】
図１は、本発明の一実施形態に係る画像処理システム１の概要を示す図である。本実施形態に係る画像処理システム１は、画像処理装置１１と、画像表示装置１２と、操作パネル１３と、マイクロフォン１４と、スピーカ１５と、を含んで構成されている。また、画像処理システム１は、ＬＡＮやインターネット等の通信手段を介して、別の場所に設置された画像処理システム（以下、通信先システム２という）と通信接続される。なお、通信先システム２は画像処理システム１と同様の構成を備える画像処理システムであってもよいし、画像処理システム１とは異なるシステム構成であってもよい。
【００２１】
以下では、画像処理システム１が設置された場所を拠点Ａ、通信先システム２が設置された場所を拠点Ｂと表記する。また、拠点Ａで画像処理システム１を利用する利用者を利用者Ｕａ、拠点Ｂで通信先システム２を利用する利用者を利用者Ｕｂと表記する。本実施形態では、画像処理システム１と通信先システム２とが互いに通信接続されて画像及び音声情報を送受信することにより、利用者Ｕａと利用者Ｕｂとの間での遠隔会議が実現される。なお、拠点Ａ及び拠点Ｂのいずれにおいても複数の利用者が同時期に会議に参加することとしてもよい。
【００２２】
画像処理装置１１は、例えばパーソナルコンピュータ等であって、図２に示すように、制御部２１と、記憶部２２と、通信部２３と、インタフェース部２４と、を含んで構成される。
【００２３】
制御部２１は、ＣＰＵ等を含んで構成され、記憶部２２に格納されるプログラムに従って各種の情報処理を実行する。本実施形態において制御部２１が実行する処理の具体例については、後述する。記憶部２２は、ＲＡＭやＲＯＭ、ハードディスク等を含んで構成され、制御部２１によって実行されるプログラムや、各種のデータを保持する。また、記憶部２２は、制御部２１のワークメモリとしても動作する。
【００２４】
通信部２３は、例えばＬＡＮカード等の通信インタフェースであって、ＬＡＮやインターネット等の通信手段を介した画像処理装置１１と他の通信機器との間のデータ送受信を中継する。本実施形態では、通信部２３を介して、通信先システム２との間で画像や音声のデータが送受信される。
【００２５】
インタフェース部２４は、制御部２１と、画像表示装置１２や操作パネル１３、マイクロフォン１４、スピーカ１５と、の間の情報の授受を中継する。具体的に、インタフェース部２４は、制御部２１からの指示に従って、画像表示装置１２及び操作パネル１３のそれぞれに表示させる画像を表す映像信号を出力する。これにより、画像処理装置１１は、画像表示装置１２及び操作パネル１３それぞれの表示画面に各種の画像を表示する。また、インタフェース部２４は、画像表示装置１２及び操作パネル１３のそれぞれから入力される利用者の操作に関する情報を制御部２１に対して出力する。また、インタフェース部２４は、マイクロフォン１４から入力される音声信号を制御部２１に対して出力するとともに、制御部２１の指示に従ってスピーカ１５に対して音声信号を出力する。
【００２６】
画像表示装置１２は、画像処理装置１１から入力される映像信号に応じた画像を表示画面上に表示する。画像表示装置１２による表示対象となるのは、例えば、プレゼンテーション用の文書を作成するアプリケーションプログラムを用いて作成された文書画像である。本実施形態においては、この画像表示装置１２に表示される画像が、ＶＮＣ（Virtual Network Computing）などの技術によって画像処理装置１１から通信先システム２に送信され、通信先システム２内の画像表示装置にも表示される。これによって、利用者Ｕａと利用者Ｕｂとは、同じ画像を閲覧しながら会議を行うことになる。なお、以下では、通信先システム２との間で共有され、利用者Ｕａ及び利用者Ｕｂという複数の閲覧者による閲覧の対象となる画像を、対象画像Ｉという。
【００２７】
また、画像表示装置１２は、表示画面上においてペン等が触れた位置を検知して、その位置を示す情報を画像処理装置１１に対して出力する機能を備えてもよい。この場合、画像処理装置１１は、この位置情報に応じて、表示画面に表示中の対象画像Ｉを、元の文書画像にペンなどの動いた軌跡を示す付加画像を重ね合わせた画像に更新する。これによって、利用者Ｕａがあたかもホワイトボードにメモを書き込むように表示画面上でペンを動かす操作を行うことで、このメモ内容が追加された対象画像Ｉが表示画面に表示される。なお、表示画面上におけるペン等の接触位置の検知は、表示画面に重ねて配置された感圧式センサや、光学的に物体の位置を検知する受光装置など、各種の方式で実現されてよい。
【００２８】
操作パネル１３は、利用者Ｕａが画像処理装置１１に対して各種の指示を入力するために用いられる操作デバイスである。本実施形態では、操作パネル１３はタッチパネルであって、画像処理装置１１から出力されるメニュー画面等の画像を表示画面に表示するとともに、利用者Ｕａが当該表示画面を指で触れることによって入力する操作指示に関する情報を、画像処理装置１１に対して出力する。なお、本実施形態に係る画像処理システム１は、操作パネル１３に代えて、例えばディスプレイ装置とマウス、キーボードなど、他のユーザインタフェースデバイスを備えてもよい。
【００２９】
マイクロフォン１４は、周辺の音声を集音して、その音声信号を画像処理装置１１に対して出力する。このマイクロフォン１４によって、利用者Ｕａの発する声が集音される。具体的に、本実施形態では、遠隔会議中、対象画像Ｉが画像表示装置１２に表示された状態において、利用者Ｕａがこの対象画像Ｉに関して発言を行う。マイクロフォン１４はこの利用者Ｕａの声を集音して得られる音声情報を画像処理装置１１に対して出力する。この音声情報は、画像処理装置１１によって通信先システム２に送信され、拠点Ｂにおいて利用者Ｕａの発言として通信先システム２に備えられたスピーカから出力される。
【００３０】
スピーカ１５は、画像処理装置１１から出力される音声信号に従って音声を再生する。本実施形態においては、拠点Ｂにおいて利用者Ｕｂによって発せられた声が、通信先システム２内のマイクロフォンによって集音され、通信先システム２から画像処理装置１１に送信される。スピーカ１５は、この利用者Ｕｂの音声を再生する。
【００３１】
以下、本実施形態に係る画像処理装置１１が実現する機能について、説明する。画像処理装置１１は、機能的に、図３に示すように、対象画像取得部３１と、標識画像付与部３２と、表示用画像出力部３３と、を含んで構成される。これらの機能は、画像処理装置１１の制御部２１が記憶部２２に格納されるプログラムを実行することにより、実現される。このプログラムは、インターネット等の通信手段を介して提供されてもよいし、光ディスク等の各種のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
【００３２】
対象画像取得部３１は、複数の閲覧者による閲覧の対象となる対象画像Ｉを取得する。具体例として、対象画像取得部３１は、利用者Ｕａの指示に従って、メモリカード等の情報記憶媒体から対象画像Ｉを含んだプレゼンテーションデータ等を読み出すことによって、対象画像Ｉを取得する。あるいは対象画像取得部３１は、通信手段を介して接続された他のサーバコンピュータ等からプレゼンテーションデータ等を受信することによって、対象画像Ｉを取得することとしてもよい。
【００３３】
標識画像付与部３２は、対象画像取得部３１が取得した対象画像Ｉに含まれる画像要素Ｃのそれぞれについて、当該画像要素Ｃの呼称を表す標識画像Ｍを、対象画像Ｉの当該画像要素Ｃに対応する位置に付与する。具体的に、まず標識画像付与部３２は、対象画像Ｉの画像解析を行い、当該対象画像Ｉ内に含まれる画像要素Ｃそれぞれの位置及び大きさを特定する。
【００３４】
ここで、画像要素Ｃは、対象画像Ｉ内の一定の範囲を占める、意味的にまとまった画像の構成単位を指している。具体例として、画像要素Ｃは、対象画像Ｉに含まれる図や、表、絵柄、写真などであってもよいし、連続して配列された文字列（すなわち、文や段落など）であってもよい。
【００３５】
このような対象画像Ｉに含まれる画像要素Ｃの特定は、各種の方法により実現される。例えば対象画像Ｉが文書の内容を表す画像である場合、標識画像付与部３２は、当該文書に対して構造解析を行った結果に基づいて、この文書の構成要素（章や節、図表、参考文献等）を、標識画像Ｍを対応づける画像要素Ｃとして特定してもよい。文書の構造解析の具体例として、例えば特開２００１−３１２４８９号公報には、文書データに含まれる章番号や、図番号などを用いて構造解析を行う手法が開示されている。また、特開平５−９４５３５号公報には、画像中に含まれる空白領域（白ラン）を用いて文書の構造解析を行う手法が開示されている。また、対象画像Ｉを表すデータが構造化文書データ（例えばＨＴＭＬファイル等）の場合、標識画像付与部３２は、構造化文書に含まれるタグによって特定される段落や図表、絵柄などを画像要素Ｃとして抽出してもよい。
【００３６】
また、標識画像付与部３２は、公知のＴ／Ｉ（Text/Image）分離処理や、特開平５−１３５１７１号公報に開示されるような各画像要素の境界検出技術、特開平５−２０４２９号公報に開示されるような画像要素のパターンマッチング技術などを用いて、対象画像Ｉに含まれる画像要素Ｃを画定してもよい。
【００３７】
上述したような方法によって対象画像Ｉに含まれる画像要素Ｃを特定した後、標識画像付与部３２は、特定された画像要素Ｃのそれぞれについて、当該画像要素Ｃの呼称を表す標識画像Ｍを、対象画像Ｉ内の当該画像要素Ｃに対応する位置に付与する。具体例として、この標識画像Ｍは、「１」、「２」、「３」、・・・などの番号や、「Ａ」、「Ｂ」、「Ｃ」、・・・などの文字、あるいは各種の記号などを表す画像であってよい。標識画像Ｍは、対象画像Ｉに含まれる各画像要素Ｃに対応づけて、かつ互いに異なるように付与される。利用者Ｕａ及びＵｂが、この標識画像Ｍによって表される呼称で各画像要素Ｃを呼びながら、当該画像要素Ｃに関する発言を行うこととすれば、画像のどの部分を問題にしているかがお互い誤解なく意思疎通されるようになり、対象画像Ｉに関する議論が円滑に行われる。
【００３８】
既に述べたように、標識画像Ｍのそれぞれは、対象画像Ｉ内において、当該標識画像Ｍが指し示す画像要素Ｃの位置に対応する位置に配置される。ここで対応する位置とは、画像要素Ｃ近傍で、画像要素Ｃに対して決まった方向の位置であってもよいし、画像要素Ｃ近傍の比較的他の画像要素Ｃとは離れた位置に定められてもよい。このような標識画像Ｍと画像要素Ｃとの対応関係を明確にするため、例えば引き出し線など、標識画像Ｍと当該標識画像Ｍによって指し示される画像要素Ｃとを結びつける画像が配置されてもよい。
【００３９】
図４は、標識画像Ｍが付与された対象画像Ｉの一例を示す図である。この図の例では、対象画像Ｉの上半分に配置された文字列（画像要素Ｃ１）に対して、「１」という数字及び当該数字を囲む囲み線からなる標識画像Ｍ１が対応づけられている。また、左下に配置された表（画像要素Ｃ２）に対しては「２」という数字を含んだ標識画像Ｍ２が、右下に配置された図（画像要素Ｃ３）に対しては「３」という数字を含んだ標識画像Ｍ３が、それぞれ対応づけられている。
【００４０】
なお、標識画像付与部３２は、対象画像Ｉ内に既に存在する符号とは異なる種類の符号を、標識画像Ｍとして対象画像Ｉに付与することとしてもよい。例えば対象画像Ｉに含まれる画像要素Ｃを特定する際に、パターンマッチング等の画像処理によって、図表や章を指し示す番号（数字）が検出された場合、標識画像付与部３２は、このような番号とは異なる種類（アルファベットや記号など）の符号を表す画像を標識画像Ｍとして用いることとする。こうすれば、利用者Ｕａ及びＵｂが標識画像Ｍによって表される呼称を用いて議論を行う際に、このような呼称によって指し示される画像要素Ｃが他の画像要素Ｃと混同される状態が避けられる。また、標識画像付与部３２は、予め定められた大きさ以上の画像要素Ｃなど、予め定められた条件を満たす画像要素Ｃにだけ、標識画像Ｍを対応づけて付与することとしてもよい。
【００４１】
表示用画像出力部３３は、対象画像Iに対して標識画像Ｍが付与されてなる画像（付与後画像）を、表示用画像Ｉｄとして出力する。具体的に、本実施形態では、表示用画像出力部３３は、標識画像付与部３２によって対象画像Iに標識画像Ｍが付与された付与後画像を、表示用画像Ｉｄとしてインタフェース部２４を介して画像表示装置１２に表示させるとともに、通信部２３を介して通信先システム２に対して送信し、通信先システム２内の画像表示装置にも表示させる。これにより、利用者Ｕａ及びＵｂの双方に標識画像Ｍを含んだ表示用画像Ｉｄが提示される。
【００４２】
ここで、表示用画像出力部３３は、遠隔会議が行われている間、常に標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力する必要はない。例えば、複数の閲覧者のうちの一人が当該対象画像Ｉを用いて発表を行う発表者であり、その他の閲覧者は当該発表を聴く聴衆である場合、発表者が主体的に発表を行っている間は、各画像要素Ｃを識別して呼称する必要は比較的少ない。一方、聴衆が発表者に対して質問を行うなどして、閲覧者間で議論が始まった場合には、各画像要素Ｃを特定しながら発言を行いたい場面が生じる。そこで、表示用画像出力部３３は、複数の閲覧者の間で議論が開始されたことを検出し、当該検出したタイミングで、標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力することとし、議論の開始を検出するまでは、標識画像Ｍが付与されない対象画像Ｉそのものを表示用画像Ｉｄとして出力することとしてもよい。さらに表示用画像出力部３３は、複数の閲覧者の間での議論の終了も検出することとし、当該検出したタイミングで、標識画像Ｍが付与された表示用画像Ｉｄの出力を終了し、標識画像Ｍを消去した対象画像Ｉを再び表示用画像Ｉｄとして出力してもよい。
【００４３】
具体的に、例えば表示用画像出力部３３は、発表者の音声の特徴（声紋等）を予め特定しておき、マイクロフォン１４から入力される音声信号や通信先システム２から送信される音声信号を解析した結果、当該発表者以外の閲覧者の音声を検出したときに、議論が開始したと判断し、標識画像Ｍが付与された表示用画像Ｉｄを出力する。そして、新たな画像（例えば複数の文書画像やスライド画像のうちの次の画像）を対象画像Ｉとして表示すべき指示を受け付けた場合には、議論が終了したと判定し、新たな対象画像Ｉには標識画像Ｍを付与せずに出力する。また、画像表示装置１２の表示画面より大きな対象画像Ｉの一部が表示画面に表示されている場合、表示用画像出力部３３は、対象画像Ｉをスクロールさせてこれまで表示されていなかった部分を表示させる指示を受け付けた場合に、議論が終了したと判定してもよい。さらに表示用画像出力部３３は、予め定められた時間以上にわたって発表者以外の閲覧者の音声が検出されない状態が続いた場合に、議論が終了したと判定してもよい。
【００４４】
以下、このように画像処理装置１１によって議論開始の検出が行われる場合に、画像処理装置１１の制御部２１が実行する処理の流れの一例について、図５のフロー図を用いて説明する。
【００４５】
まず制御部２１は、利用者Ｕａの操作パネル１３に対する指示に従って、新たな対象画像Ｉを表示用画像Ｉｄとして出力する（Ｓ１）。このとき出力される表示用画像Ｉｄは、標識画像Ｍが付与されていない画像である。さらに制御部２１は、発表者の音声特徴情報を未設定状態に初期化する（Ｓ２）。
【００４６】
その後、制御部２１は、マイクロフォン１４から入力される音声信号や通信先システム２から送信される音声信号を解析し、その中に含まれる声の特徴を特定する話者認識処理を行う。これによって、発言を行った発言者の音声特徴情報が取得される（Ｓ３）。続いて制御部２１は、発表者の音声特徴情報が設定済みか否かを判定する（Ｓ４）。最初はＳ２の初期化処理によって発表者の音声特徴情報は未設定の状態になっているので、Ｓ４の判定結果に応じて、制御部２１はＳ３で取得した音声特徴情報を発表者の音声特徴情報として設定する（Ｓ５）。すなわち、対象画像Ｉの表示後、最初に発言を行った発言者が発表者とみなされ、その音声特徴情報が登録されることになる。
【００４７】
Ｓ５の処理が終わると、Ｓ３に戻って定期的に発言者の音声特徴情報を取得する処理が繰り返される。ここで、２回目以降にＳ３の処理が実行されたときには、既にＳ５で発表者の音声特徴情報が設定済みになっているので、Ｓ４の判定結果に応じて、制御部２１は、新たにＳ３の処理で取得した音声特徴情報が発表者の音声特徴情報か否かの判定を行う（Ｓ６）。新たに取得した音声特徴情報が発表者の音声特徴情報と一致する場合、発表者が発表を続けていると考えられるので、Ｓ３に戻って定期的に発言者の音声特徴情報を取得する処理が繰り返される。
【００４８】
一方、Ｓ６で新たに取得した音声特徴情報が発表者の音声特徴情報ではないと判定された場合、発表者とは別の新たな閲覧者が発言を行ったことになる。この場合、制御部２１は閲覧者間の議論が開始されたと判断して、対象画像Ｉに標識画像Ｍを付与する処理を行い（Ｓ７）、標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力する（Ｓ８）。その後は、画像の切り替え指示など、議論の終了と判断される状態が検出されたか否かを定期的に判定し、議論の終了と判断されれば標識画像Ｍが付与された表示用画像Ｉｄの出力が終了される。
【００４９】
なお、ここでは議論の開始が検出された後に、対象画像Ｉへの標識画像Ｍの付与が実行されることとしたが、標識画像付与部３２は、対象画像Ｉの表示が開始された時点で、対象画像Ｉに含まれる画像要素Ｃを特定し、付与すべき標識画像Ｍの内容及び位置を決定する処理を実行しておいてもよい。あるいは、対象画像Ｉの表示が開始される前に、予めこのような処理が実行されてもよい。こうすれば、議論の開始が検出された後、すぐに標識画像Ｍが付与された表示用画像Ｉｄが出力される。
【００５０】
また、ここでは対象画像Ｉの表示開始後に最初に取得された音声特徴情報を直ちに発表者の音声特徴情報として設定することとしたが、他の閲覧者が最初に発言をしてしまう場合も考えられる。そこで、制御部２１は、対象画像Ｉの表示開始後、予め定められた回数又は時間にわたって発言者の音声特徴情報を取得する処理を実行し、最も多く取得された音声特徴情報を発表者の音声特徴情報として登録してもよい。
【００５１】
なお、画像処理装置１１が利用者Ｕａの指示操作に応じて対象画像Ｉの修正（内容の変更）を行うためのインタフェースを備えている場合、利用者間の議論に応じて利用者Ｕａが対象画像Ｉを修正する操作を行うことも考えられる。具体的には、画像表示装置１２の表示画面に対して利用者Ｕａがペン等を接触させて文字等を書き込む操作や、キーボードやマウス等により対象画像Ｉの電子データを直接編集する操作などである。表示用画像出力部３３は、このような対象画像Ｉの内容を変更する操作を受け付けた場合に、議論が開始されたと判断してもよい。
【００５２】
さらに、標識画像Ｍを付与した表示用画像Ｉｄを出力中にこのような対象画像Ｉの修正が行われる場合、標識画像付与部３２は、対象画像Ｉの内容変更に伴って、標識画像Ｍを付与し直す処理を実行してもよい。具体的に、標識画像付与部３２は、対象画像Ｉ内に新たな画像要素Ｃを追加する修正がなされる場合、当該追加される画像要素Ｃに対応づけて、他の画像要素に対応づけられている標識画像Ｍとは異なる標識画像Ｍを新たに付与する。また、対象画像Ｉから画像要素Ｃを削除する修正がなされる場合、当該画像要素Ｃに対応づけられている標識画像Ｍも削除する。これによって、対象画像Ｉの内容に変更が生じても、変更後の対象画像Ｉに含まれる画像要素Ｃを対象とした議論を行うための標識画像Ｍが表示された状態が保たれる。
【００５３】
また、画像要素Ｃを削除する修正に伴って、当該画像要素Ｃに対応づけられている標識画像Ｍを削除した後、さらに対象画像Ｉ内に新たな画像要素Ｃを追加する修正がなされる場合、標識画像付与部３２は、当該追加される画像要素Ｃに対応づけて、現在付与されている他の標識画像Ｍだけではなく、過去に削除された標識画像Ｍとも異なる標識画像Ｍを付与することとしてもよい。
【００５４】
具体例として、図４に例示したように一つの対象画像Ｉ内に３個の画像要素Ｃ１〜Ｃ３及びこれらに対応する３個の標識画像Ｍ１〜Ｍ３が含まれており、その後、利用者Ｕａの指示に応じて画像要素Ｃ２が削除されたとする。このとき、画像要素Ｃ２に対応づけられている標識画像Ｍ２も削除される。その後、新たに画像要素Ｃ４が追加されたときには、既に削除された数字の２を含んだ標識画像Ｍ２ではなく、例えば数字の４を含んだ標識画像Ｍ４を当該画像要素Ｃ４に対応づけて付与する。こうすれば、既に削除済みの画像要素Ｃも含めて、対象画像Ｉ内に含まれる各画像要素Ｃが標識画像Ｍによって識別される。
【００５５】
以下、対象画像Ｉの修正指示を受け付けた場合に制御部２１が実行する処理の流れの一例について、図６のフロー図を用いて説明する。
【００５６】
まず制御部２１は、当該修正指示を受け付けた時点で議論の開始が既に検出済みか否かを判定する（Ｓ１１）。この判定は、例えば記憶部２２に格納された議論開始フラグを参照することで行われる。
【００５７】
議論の開始が検出されていない場合、制御部２１は、当該修正指示を議論の開始とみなして、議論開始フラグをオンに更新する（Ｓ１２）。そして、前述したＳ７と同様に対象画像Ｉに標識画像Ｍを付与する処理を行い（Ｓ１３）、標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力する（Ｓ１４）。
【００５８】
一方、Ｓ１１において既に議論の開始が検出されていると判定される場合、現時点で制御部２１は標識画像Ｍの付与された表示用画像Ｉｄが出力中であることになる。この場合、制御部２１は、受け付けた修正指示に応じて修正される対象画像Ｉ内の領域を特定する（Ｓ１５）。そして、当該特定された領域と重なる画像要素Ｃの解析を行い、標識画像Ｍの再付与を行う（Ｓ１６）。具体的に、制御部２１は、新たに追加された画像要素Ｃに対応する標識画像Ｍを追加したり、削除された画像要素Ｃに対応する標識画像Ｍを削除したり、位置が変更された画像要素Ｃに対応する標識画像Ｍの位置を更新したりする。そして、制御部２１は、Ｓ１６の処理によって標識画像Ｍが付与された対象画像Ｉを表示用画像Ｉｄとして出力する（Ｓ１４）。
【００５９】
なお、以上の説明においては、画像処理装置１１が標識画像Ｍの付与された表示用画像Ｉｄを生成して通信先システム２に送信することとしている。しかしながら、本発明の実施の形態はこのようなものに限られない。例えば画像処理装置１１は、対象画像Ｉに標識画像Ｍを付与して表示用画像Ｉｄとして画像表示装置１２に対して出力する一方で、通信先システム２に対しては対象画像Ｉ自体を送信することとしてもよい。この場合、拠点Ａと拠点Ｂとの間で同じ標識画像Ｍが付与された対象画像Ｉを共有するために、通信先システム２においても画像処理装置１１から受信した対象画像Ｉに対して標識画像Ｍを付与する処理が実行される。このとき、画像処理装置１１は、通信先システム２に対して標識画像Ｍの付与を開始するタイミングや、標識画像Ｍが付与された表示用画像Ｉｄの出力を終了すべきタイミングを指示することとしてもよい。さらに画像処理装置１１は、このようなタイミングに係る情報だけでなく、対象画像Ｉに対して付与すべき標識画像Ｍの内容及び位置を指定する情報についても、通信先システム２に対して送信することとしてもよい。
【００６０】
また、以上の説明では、遠隔地間で共有される対象画像Ｉに対して標識画像Ｍを付与する例について説明したが、これに限らず、画像処理装置１１は、プロジェクタ等の画像表示装置に対して標識画像Ｍが付与された表示用画像Ｉｄを出力することとしてもよい。これにより、一つの拠点において複数の閲覧者が閲覧する対象画像Ｉについても、当該対象画像Ｉに関する議論が行われる際に、対象画像Ｉに含まれる画像要素Ｃに対して標識画像Ｍが付与されることとなる。
【符号の説明】
【００６１】
１ 画像処理システム、２ 通信先システム、１１ 画像処理装置、１２ 画像表示装置、１３ 操作パネル、１４ マイクロフォン、１５ スピーカ、２１ 制御部、２２ 記憶部、２３ 通信部、２４ インタフェース部、３１ 対象画像取得部、３２ 標識画像付与部、３３ 表示用画像出力部。
【特許請求の範囲】
【請求項１】
複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を、前記対象画像の当該画像要素に対応する位置に付与する標識画像付与手段と、
前記対象画像に前記標識画像が付与された付与後画像を出力する画像出力手段と、
画像を複数の閲覧者が閲覧可能に表示する表示手段と、
を含み、
前記表示手段は、前記複数の閲覧者の間での議論の開始を検出したタイミングで、前記付与後画像を表示することを特徴とする画像処理システム。
【請求項２】
前記表示手段は、前記複数の閲覧者の間での議論の終了を検出したタイミングで、前記付与後画像の表示を終了することを特徴とする請求項１記載の画像処理システム。
【請求項３】
複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を、前記対象画像の当該画像要素に対応する位置に付与する標識画像付与手段、
前記対象画像に前記標識画像が付与された付与後画像を出力する画像出力手段、及び、
画像を複数の閲覧者が閲覧可能に表示手段に表示させる表示制御手段、
としてコンピュータを機能させるためのプログラムであって、
前記表示制御手段は、前記複数の閲覧者の間での議論の開始を検出したタイミングで、前記付与後画像を前記表示手段に表示させることを特徴とするプログラム。
【請求項４】
前記表示制御手段は、前記複数の閲覧者の間での議論の終了を検出したタイミングで、前記付与後画像の表示を終了することを特徴とする請求項３記載のプログラム。
【請求項１】
複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を、前記対象画像の当該画像要素に対応する位置に付与する標識画像付与手段と、
前記対象画像に前記標識画像が付与された付与後画像を出力する画像出力手段と、
画像を複数の閲覧者が閲覧可能に表示する表示手段と、
を含み、
前記表示手段は、前記複数の閲覧者の間での議論の開始を検出したタイミングで、前記付与後画像を表示することを特徴とする画像処理システム。
【請求項２】
前記表示手段は、前記複数の閲覧者の間での議論の終了を検出したタイミングで、前記付与後画像の表示を終了することを特徴とする請求項１記載の画像処理システム。
【請求項３】
複数の閲覧者による閲覧の対象として取得された対象画像に含まれる画像要素のそれぞれについて、当該画像要素の呼称に対応する標識画像を、前記対象画像の当該画像要素に対応する位置に付与する標識画像付与手段、
前記対象画像に前記標識画像が付与された付与後画像を出力する画像出力手段、及び、
画像を複数の閲覧者が閲覧可能に表示手段に表示させる表示制御手段、
としてコンピュータを機能させるためのプログラムであって、
前記表示制御手段は、前記複数の閲覧者の間での議論の開始を検出したタイミングで、前記付与後画像を前記表示手段に表示させることを特徴とするプログラム。
【請求項４】
前記表示制御手段は、前記複数の閲覧者の間での議論の終了を検出したタイミングで、前記付与後画像の表示を終了することを特徴とする請求項３記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１８７０６４（Ｐ２０１１−１８７０６４Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１１−５１８２１（Ｐ２０１１−５１８２１）
【出願日】平成２３年３月９日（２０１１．３．９）
【分割の表示】特願２００９−７０９２６（Ｐ２００９−７０９２６）の分割
【原出願日】平成２１年３月２３日（２００９．３．２３）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２３年３月９日（２０１１．３．９）
【分割の表示】特願２００９−７０９２６（Ｐ２００９−７０９２６）の分割
【原出願日】平成２１年３月２３日（２００９．３．２３）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]