画像サイズ調整システム、画像サイズ調整装置、画像サイズ調整方法、コンテンツ文書
【課題】サーバの提供画像が大きいと、携帯情報端末に一度に表示できない。
【解決手段】ＨＴＭＬ受信・解析部１０はサーバ４から受信したＨＴＭＬ文書の解析を行い、それに基づいて、画像取得部１２が画像情報を取得する。画像サイズ調整部２０は、ＨＴＭＬ文書と画像情報に基づいてトリミングを行うか否か及びトリミング量を決定する。この決定は、例えば原画像と携帯情報端末６のブラウザとのサイズの比較に基づく。また、トリミング画像のサイズが携帯情報端末６のブラウザに表示可能に定められる。画像解析部２２は、ＨＴＭＬ文書に指定されるパラメータや、原画像を解析することによってトリミングレイアウトを決定し、画像加工部２４が原画像をトリミングし、画像送信部１４が、その画像情報を元のファイルフォーマットに形式を整え、携帯情報端末６へ送出する。
【解決手段】ＨＴＭＬ受信・解析部１０はサーバ４から受信したＨＴＭＬ文書の解析を行い、それに基づいて、画像取得部１２が画像情報を取得する。画像サイズ調整部２０は、ＨＴＭＬ文書と画像情報に基づいてトリミングを行うか否か及びトリミング量を決定する。この決定は、例えば原画像と携帯情報端末６のブラウザとのサイズの比較に基づく。また、トリミング画像のサイズが携帯情報端末６のブラウザに表示可能に定められる。画像解析部２２は、ＨＴＭＬ文書に指定されるパラメータや、原画像を解析することによってトリミングレイアウトを決定し、画像加工部２４が原画像をトリミングし、画像送信部１４が、その画像情報を元のファイルフォーマットに形式を整え、携帯情報端末６へ送出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報を含むコンテンツ文書を提供する技術に関する。
【背景技術】
【０００２】
インターネットではＷＷＷ（World Wide Web）を中心に各種形態のサービスの提供が行われている。ＷＷＷを利用する場合、サーバからはＨＴＭＬ（Hyper Text Markup Language）によって記述されたテキスト（以下、ＨＴＭＬ文書という）などの文書の形態で情報やサービスが提供される。クライアント上で動作するビュアまたはブラウザと呼ばれるソフトウェアは、サーバから送られるＨＴＭＬ文書等のテキストを解釈してクライアントである計算機や情報端末の画面上への表示を行う。ブラウザを用いてＷＷＷにアクセスすることによって、サービスごとに専用アプリケーションを用意する必要がなく、利用者側の負担が大幅に軽減される。そのため、ＰＤＡ（Personal Digital Assistance）など、ネットワークに対応した携帯型の情報端末が急速に普及している。
【０００３】
この携帯型情報端末は、携帯に便利なように小型化が要求されるため、画面サイズが、一般の小型汎用コンピュータに比べて制限される。そのため、小型汎用コンピュータのディスプレイを想定して作成されサーバから提供される画像情報には、携帯情報端末の画面内に一度に表示できないものもある。
【０００４】
このような画像情報に対しては、携帯情報端末のユーザは、従来は単純には画面を縦方向または横方向にスクロールすることによってその画像全体を把握することを行っていた。
【０００５】
また、携帯情報端末の中には、受信した画像情報を自画面内に表示できるサイズに縮小する機能を備えているものもあった。例えば、携帯情報端末において、Ｗｅｂページ等のコンテンツに含まれる画像部分を面積比で１／４にして表示することは行われていた。
【０００６】
しかし、画面をスクロールするという方法は、ユーザに余計な操作を要求することになるという問題があった。また、多くの画像情報は、その全体を一見されることによってユーザに伝達されうるものであり、これをスクロールという方法で部分的に画面表示することは画像情報本来の情報伝達力を損ない、ユーザの情報理解を阻害するおそれがあるという問題もあった。
【０００７】
一方、画像情報を縮小して表示するという方法は、画像の解像度を低下させるものであり、画像がつぶれてユーザにその画像情報を認識しづらくする、または全く認識できなくするという問題を有していた。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、サーバから提供される画像情報を画面サイズが制限されたクライアントにおいて良好なユーザインターフェースを確保しつつ表示する画像サイズ調整システム、画像サイズ調整装置、画像サイズ調整方法、およびコンテンツ文書を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像サイズ調整システムは、送信側と受信側とからなる画像サイズ調整システムであって、前記送信側は、画像を含んだ画面表示コンテンツとともにトリミング指示を記述するコンテンツ文書を送信する送信手段を有し、前記受信側は、前記コンテンツ文書を受信する受信手段と、前記コンテンツ文書中に指定された原画像情報群を取得する取得手段と、前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段と、前記トリミング指示にトリミング対象として示された原画像情報により表される原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成する画像トリミング手段と、を有することを特徴とする。
【００１０】
この構成によれば、受信側が前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段を有し、前記画像トリミング手段が前記トリミング指示に応じて、前記原画像情報についてのトリミング処理を行う。ここでトリミングとは、原画像の一部領域の情報のみを取り出すことであり、取り出された一部の画像情報をトリミング画像情報と称する。トリミング画像情報に対応する画像サイズは、基本的には原画像のサイズまたはそれより小さくされるであろう。クライアントへはこのトリミング画像情報が提供される。
【００１１】
トリミング指示は、コンテンツ文書全体に有効であってもよいし、コンテンツ文書に含まれる原画像ごとに有効であってもよい。画像トリミング手段は、トリミング指示が有効な原画像に対してトリミングを行う。
【００１２】
本発明に係る画像サイズ調整システムの１つの態様では、前記画像トリミング手段は、前記コンテンツ文書中に前記トリミング対象の原画像に対するトリミングサイズが示されている場合、そのトリミングサイズとなるように、前記トリミング対象の原画像をトリミングすることを特徴とする。
【００１３】
本発明に係る画像サイズ調整システムの１つの態様では、受信側は、前記コンテンツ文書中に指定されるトリミングの基準点を示すトリミングタイプに応じて、前記原画像から取り出される前記一部領域を決定するトリミングレイアウト決定手段を備えたものである。
【００１４】
この構成によれば、コンテンツ文書中に指定されるトリミングタイプに応じて、原画像のうちどの部分が取り出されるかが決定される。例えば、トリミングタイプには、原画像の中央、上下、左右等といった位置が指定されており、トリミングレイアウト決定手段は、指定されたトリミングタイプに応じて例えばトリミング画像の中心等の基準点を定めトリミング画像構図を決定する。トリミング画像のサイズは、所定値にすることもできるし、別途与えられる値によって定めることもできる。
【００１５】
本発明に係る画像サイズ調整システムの１つの態様では、前記トリミングレイアウト決定手段は、前記コンテンツ文書中にトリミングタイプが示されていない場合、前記原画像の所定の画素属性の画像内分布に基づいて、前記原画像から取り出される前記一部領域の配置を定めることを特徴とする。
【００１６】
この構成によれば、例えば、原画像の各点での色と所定の背景色との相違の度合いや、輝度値といった画素属性が用いられる。例えば、画素属性には背景と抽出対象画像部分とを区別できるものが用いられる。例えば、画素属性を数値で評価可能な場合は、背景で小さな値をとり抽出対象画像情報において大きな値をとる属性が選択される。画素属性の分布は、単に当該属性を有する画素と有さない画素の多寡に基づいて定めることもできるし、値で評価可能な属性を用いる場合には、その値により重み付けを行った上で定めることもできる。
【００１７】
本発明の好適な態様は、前記トリミングレイアウト決定手段が、前記原画像を複数の部分領域に分割する手段と、前記各部分領域内における前記画素属性の密度を求める手段と、前記密度に基づいて前記複数の部分領域から、前記原画像から取り出される前記一部領域を選択する手段とを有するものである。
【００１８】
この態様では、原画像が例えばその配置がそれぞれ上中下である３つの部分領域に分割され、中段の部分領域において背景を示す画素属性の密度が高ければ、中段をトリミングして、上段と下段の部分領域が前記一部領域として選択される。
【００１９】
また本発明の他の好適な態様は、前記トリミングレイアウト決定手段が、前記画素属性の重心位置を求め、前記原画像から取り出される前記一部領域の配置を前記重心位置に基づいて定めるものである。
【００２０】
この態様では、重心位置が原画像内での抽出対象画像情報のおおまかな分布を示す。つまり、例えば重心位置が左側に寄っていれば、抽出対象画像情報は原画像の左側に存在する確率が高いので、トリミングレイアウト決定手段は、この場合には原画像から取り出される領域、すなわちトリミングレイアウトを左寄りに設定する。
【発明の効果】
【００２１】
本発明に係る画像サイズ調整システムは、当該画像情報をトリミングするための情報とともに送受信することができる。よって、クライアントが画面サイズの制約等により、大きなサイズの画像を一度に表示できない場合であっても、トリミング画像ならばブラウザ内に一度に表示を行うことができ、サーバからの画像サービスを良好な解像度で利用できるという効果が得られる。つまり、ユーザは画面をスクロールするといった操作から開放され、ユーザインターフェースが向上するという効果が得られる。
【発明を実施するための最良の形態】
【００２２】
次に、本発明の実施形態について図面を参照して説明する。
【００２３】
図１は、本発明の実施の形態であるサービス中継装置の概略のブロック構成及びそれを用いたサーバ・クライアントシステムの概略構成を示す説明図である。サービス中継装置２は、例えばＷｅｂサービスを提供するサーバ４とそのサービスを受けるクライアントである携帯情報端末６とを通信回線（図示せず）を介して中継する。なお、図にはサーバ４、携帯情報端末６はそれぞれ一つしか示されていないが、サービス中継装置２は複数のサーバ４と複数の携帯情報端末６とを中継・接続することができる。またクライアントとして、他の端末、例えば通常の小型汎用コンピュータを接続することも可能である。
【００２４】
さて、携帯情報端末６は、サービスを直接、サーバ４に要求するのではなく、サービス中継装置２に対して要求する。具体的には、携帯情報端末６においてはサーバ４のＵＲＬ（Uniform Resource Locator）ではなく、サービス中継装置２のＵＲＬが指定される。したがって、ユーザからはサービス中継装置２がひとつのサーバに見える。
【００２５】
サービス中継装置２は、大きくは、クライアントとの間で必要な情報の授受を行うクライアント連絡機能を有する部分と、サーバとの間で必要な情報の授受を行うサーバ連絡機能を有する部分と、サービス中継装置２における付加処理等を行う部分とに分かれる。
【００２６】
図においてＨＴＭＬ受信・解析部１０及び画像取得部１２は、サーバアクセス手段であり、サーバ連絡機能を有する部分の一部を構成する。一方、クライアント連絡機能を有する部分は画像送信部１４を含んで構成される。また、本発明に係る付加処理等を行う部分は画像サイズ調整部２０、画像解析部２２及び画像加工部２４を含んで構成される。
【００２７】
次に各部の機能を説明する。ＨＴＭＬ受信・解析部１０は、携帯情報端末６から要求があったＷｅｂページのＨＴＭＬテキスト（コンテンツ文書）をサーバ４から受信する。ＨＴＭＬ受信・解析部１０は、受信したコンテンツ文書を解釈する機能を有する。特に、当該コンテンツ文書中にリンクが定義されている場合には、そのリンク先からの情報取得処理を起動させる機能や、コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段としての機能を有する。
【００２８】
画像取得部１２は、ＨＴＭＬ受信・解析部１０からの指示に基づいてサーバ４から画像（原画像）を取得するという情報取得処理を行う。
【００２９】
画像サイズ調整部２０は、ＨＴＭＬ受信・解析部１０から出力されるコンテンツ文書と、画像取得部１２から出力される画像情報をそれぞれ受け取る。そして、それらに基づいて、まずトリミングを行うか否かが判断され、トリミングを行う場合にはトリミング量が決定される。画像サイズ調整部２０は、トリミングを行うか否かの判断手段の一つとして、原画像の表示サイズと携帯情報端末６のブラウザの表示領域サイズとの比較に基づいて判断を行うトリミング要否判定手段を有している。トリミングを行う場合には、画像サイズ決定手段によって、トリミング後の画像サイズが携帯情報端末６のブラウザに表示可能なサイズに定められる。
【００３０】
ここで、原画像の表示サイズとは、トリミング処理を行わなかった場合にクライアントの画面に表示されるであろう画像サイズであり、原画像情報自体、またはサーバが提供するコンテンツ文書中において画像表示領域の指定がされている場合にはその指定によって定められる。例えば、原画像の表示サイズより大きな画面サイズのディスプレイにおいてはブラウザの表示領域も大きく確保でき、画像情報は基本的には原画像のまま表示される。しかし画面サイズが小さいクライアントでは、画像情報を原画像の表示サイズに表示することが難しい場合がある。トリミング要否判定手段は、例えばクライアントのブラウザ画面サイズすなわちブラウザの表示領域のサイズに応じて定められる基準より原画像の表示サイズが大きいか否かを判断し、大きい場合にはトリミングを行うことを決定し、画像トリミング手段にトリミングを指示する。
【００３１】
画像解析部２２は、コンテンツ文書又は原画像情報を解析して、原画像から取り出される抽出対象画像領域を決定する。すなわち、トリミングレイアウトを決定する。このトリミングレイアウト決定は、コンテンツ文書に指定されるトリミングタイプに基づくレイアウト決定処理や、原画像の所定の画素属性の原画像内での分布に基づくレイアウト決定処理によって行われる。
【００３２】
画像加工部２４は、画像解析部２２で決定されたトリミングレイアウトに基づいて原画像をトリミングする。
【００３３】
画像送信部１４は、画像加工部２４でトリミングされた画像情報を元のファイルフォーマットに形式を整え、携帯情報端末６へ送出する。
【００３４】
次に、本装置の処理を説明する。図２は、本発明に係る処理全体を説明する処理フロー図である。携帯情報端末６がサービス中継装置２を介してサーバ４へＷｅｂページ等のコンテンツを要求すると、それに応じてサーバ４はサービス中継装置２へコンテンツを記述するＨＴＭＬ文書を送信する。サービス中継装置２では、ＨＴＭＬ受信・解析部１０がサーバ４から送られてきたＨＴＭＬ文書を受け取り（Ｓ５０）、これを解析する（Ｓ５５）。
【００３５】
解析の結果、ＨＴＭＬ文書にリンクが定義されていることが明らかになると、ＨＴＭＬ受信・解析部１０は、そのリンク先にアクセスして指定されたファイルを取得する処理を起動させる。例えば、ＨＴＭＬ文書に、画像表示を指示する＜ＩＭＧ＞タグを検出すると、画像取得部１２を起動する。
【００３６】
画像取得部１２は、そのタグ中にＳＲＣオプションで指定される画像ファイルをサーバ４へ要求し、サーバ４から送られるそのファイルを受信する（Ｓ６０）。受信したファイルは画像サイズ調整部２０へ渡される。
【００３７】
また、ＨＴＭＬ受信・解析部１０は、ＨＴＭＬ文書中に指定されているトリミング指示を検知し、トリミングのリクエストを画像サイズ調整部２０へ送る（Ｓ６５）。
【００３８】
例えば、ＨＴＭＬ文書中でのトリミング指示は、
＜IMG SRC="/Images/welcome.jpg" TRIMMING＞
といった＜ＩＭＧ＞タグの記述により行われる。ここで、タグの最後に指定された属性“TRIMMING”が、当該タグに指定された画像に対してトリミングを行うことを指示するものである。なお、タグ中程の“SRC=”に続いて画像ファイルの指定が記述されている。
【００３９】
画像サイズ調整部２０は、ＨＴＭＬ受信・解析部１０から出力されるコンテンツ文書、トリミングリクエスト及び、画像取得部１２から出力される画像情報を入力される。画像サイズ調整部２０はトリミング要否判定手段によって、まず入力された原画像情報に対してトリミングを行うか否かを判断する（Ｓ７０）。
【００４０】
トリミング要否判定手段は、ＨＴＭＬ受信・解析部１０からトリミングのリクエストを受信している場合には必ずトリミングを行うと決定する。さらに、本装置では、従来よりのＷｅｂページ等、トリミング指定を考慮せずに作成されたコンテンツをも必要に応じてトリミングを行って携帯情報端末６に提供できるように、トリミング要否判定手段が構成されている。
【００４１】
具体的には、トリミング要否判定手段は、トリミングリクエストをＨＴＭＬ受信・解析部１０から受け取らない場合には、トリミング処理を行わなかった場合にクライアントの画面に表示されるであろう画像サイズと携帯情報端末６のブラウザの表示領域サイズとの比較に基づいて判断を行う。まず本装置は、クライアントからサービス提供のリクエストがあったときに、クライアントのブラウザの表示領域サイズを判別する。例えば本装置は、クライアントがＨＴＴＰのリクエストを送信する際、そのリクエスト内に用意されたクライアント情報項目に値を設定している場合には、それに基づいてクライアントの種別を判別し、予め登録された端末種別と当該端末にインプリメントされたブラウザの有効表示領域との対応テーブルから、リクエストを発したクライアントのブラウザの表示領域サイズを認識する。また、サービス中継装置２の利用の許諾が与えられたクライアントごとにそのアドレス等の端末識別情報とブラウザ表示領域サイズとの対応関係のテーブルを予め本装置に登録・保持しておいて、リクエスト元の端末の識別情報からテーブルを検索してブラウザの表示領域サイズを認識するという方法も可能である。
【００４２】
一方、原画像の表示サイズは、サーバが提供するＨＴＭＬ文書中の＜ＩＭＧ＞タグに画像表示領域を指定するパラメータが指定されている場合には、そのサイズが採用され、指定されていない場合には原画像情報の本来のサイズが採用される。
【００４３】
トリミング要否判定手段は、このようにして得られた原画像の表示サイズとクライアントのブラウザの表示領域サイズとを比較し、原画像の表示サイズがブラウザの表示領域サイズの例えば０．２５倍より大きい場合には、トリミングを行うと決定する。なお、この原画像の表示サイズとブラウザ表示領域サイズとの比を暫定値とし、様々なＷｅｂページから原画像を取得するごとに値を変えるようにすることもできる。この場合、トリミングを行うか否かの閾値の比は、画像ごとの比を統計処理して、逐次更新するように構成することができる。
【００４４】
処理Ｓ７０の判断によりトリミングを行うと決定された場合には（Ｓ７５）、画像サイズ調整部２０は、トリミングサイズが決まっているか否かを判定する（Ｓ８０）。トリミングサイズが決まっていない場合には、画像サイズ調整部２０の画像サイズ決定手段が、画像取得部１２からの原画像の画像サイズやＨＴＭＬ文書の指定等に基づいて、トリミング量を求めトリミング後の画像サイズ（トリミング画像サイズ）を決定する（Ｓ８５）。
【００４５】
画像サイズ決定手段は、例えば、＜ＩＭＧ＞タグに指定されるＷＩＤＴＨ属性やＨＥＩＧＨＴ属性をトリミング画像サイズを定めるために用いる。これらＷＩＤＴＨ属性やＨＥＩＧＨＴ属性は、一般には、それらの値に合わせて画像を表示するために用いられるものであり、例えば次行に示す形式で使用される。
＜IMG SRC="/Images/welcome.jpg" WIDTH="364",HEIGHT="280"＞
【００４６】
画像サイズ決定手段は、トリミングを行うと決定された場合には、これらＷＩＤＴＨ属性、ＨＥＩＧＨＴ属性によって指定されるサイズをトリミング画像サイズに設定することができる。ＷＩＤＴＨ、ＨＥＩＧＨＴの値がクライアントのブラウザ表示領域サイズより大きい場合や、ＷＩＤＴＨ属性、ＨＥＩＧＨＴ属性が指定されていない場合には、画像サイズ決定手段は、トリミング画像サイズをクライアントのブラウザ表示領域サイズより小さくなるように定める。
【００４７】
画像サイズ調整部２０は、このように決定したトリミング画像サイズを、ＨＴＭＬ文書、原画像情報とともに画像解析部２２へ渡す。なお、判定処理Ｓ８０において、トリミング画像サイズが決まっている場合には上述した処理Ｓ８５は省略され、その決まっているトリミングサイズが画像解析部２２に渡される。
【００４８】
画像解析部２２は、コンテンツ文書又は原画像情報を解析して、トリミング画像サイズで指定される大きさの画像情報を原画像のどの部分から取り出すべきかを決定する（Ｓ９０）。そして、画像加工部２４が、画像解析部２２で決定されたトリミングレイアウトに基づいて原画像をトリミングする（Ｓ９５）。トリミングされた画像情報は、画像送信部１４へ送られ、ここで元のファイルフォーマットに形式を整えられ（Ｓ１００）、携帯情報端末６のブラウザへ送信される（Ｓ１０５）。
【００４９】
なお、判定処理Ｓ７５において、トリミングを行わないと決定された場合には、処理Ｓ８０〜Ｓ１００は省略され、処理Ｓ１０５に移行して、原画像情報がそのまま携帯情報端末６のブラウザへ送信される。
【００５０】
さて、上述した＜ＩＭＧ＞タグ中に指定されるＴＲＩＭＭＩＮＧ属性には、トリミングレイアウトのタイプを指定することができる。例えば、
＜IMG SRC="/Images/welcome.jpg" TRIMMING="center"＞
といった形式で、“TRIMMING=”に続いてタイプを指定することができる。この場合の値“center”は、原画像の中央にトリミングの基準点（アンカー）を設定するものである。例えば、このアンカーが中心点であってトリミング画像サイズで指定される大きさの画像情報が原画像から取り出される。図３は、この場合のトリミングの一例を示す説明図である。原画像１５０の中央部に示された枠内の画像１５２がトリミング画像として取り出される。
【００５１】
アンカー位置を指定するタイプには、様々なものを用意することができる。図４〜図１２は原画像中におけるトリミング画像の配置例をアンカーの各タイプごとに示す説明図である。図４〜６がそれぞれトリミング属性“topleft”、“top”、“topright”における原画像中のトリミング画像の配置を示す図である。図において枠１５４が原画像１５０中でのトリミング画像の配置を示す。トリミング属性値“topleft”、“top”、“topright”は、トリミング画像が原画像の左右方向に関してはそれぞれ左、中央、右に位置する点で相違するが、原画像の上下方向に関してはともに上方に配置される点で共通するものである。また、トリミング属性値“left”、“center”、“right”は、トリミング画像が原画像１５０の左右方向に関してはそれぞれ左、中央、右に位置する点で相違するが、原画像１５０の上下方向に関してはともに中央に配置される点で共通するものである。図７〜９がそれぞれ“left”、“center”、“right”の配置を示す図である。同様に、トリミング属性値“bottomleft”、“bottom”、“bottomright”は、トリミング画像が原画像１５０の左右方向に関してはそれぞれ左、中央、右に位置する点で相違するが、原画像１５０の上下方向に関してはともに下方に配置される点で共通するものである。図１０〜１２がそれぞれ“bottomleft”、“bottom”、“bottomright”の配置を示す図である。
【００５２】
画像解析部２２、画像加工部２４では、上述したトリミング属性値を利用して処理が行われる。図１３は、画像解析部２２、画像加工部２４及び画像送信部１４での処理Ｓ９０〜Ｓ１００を説明する処理フロー図である。
【００５３】
トリミングを行うことが決定され、処理が画像解析部２２に移行すると、画像解析部２２は、渡されたＨＴＭＬ文書中の＜ＩＭＧ＞タグにトリミング属性“TRIMMING”が指定されているかどうかを調べる（Ｓ２００）。もし指定されていれば、それに上述したようなトリミング属性値が指定されているかどうかが調べられる（Ｓ２０５）。
【００５４】
トリミング属性値が指定されていれば、画像解析部２２は、その属性値で指定される原画像内でのトリミング画像の配置と、トリミングサイズとからトリミングレイアウトを定め（Ｓ２１０）、画像加工部２４が当該トリミングレイアウト内に含まれる画像情報を原画像から取り出す（Ｓ２１５）。
【００５５】
取り出されたトリミング画像は、画像送信部１４に渡され、元のファイルフォーマットに形式を整えられる（Ｓ２２０）。
【００５６】
一方、処理Ｓ９０の一部である判定処理Ｓ２００においてトリミング属性が指定されていない場合は、トリミング処理を行わなかった場合にクライアントの画面に表示されるであろう画像サイズと携帯情報端末６のブラウザの表示領域サイズとの比較（Ｓ７０）に基づいてトリミングを行うと決定された場合（Ｓ７５）である。
【００５７】
この場合には、画像解析部２２が原画像情報に基づいてトリミングレイアウトを決定する。例えば画像解析部２２は、既存の輪郭線抽出等の画像解析処理の手法を用いて、例えば、原画像の周辺領域とその内側領域とのいずれに画像としての情報がより多く含まれるかを判定し（Ｓ２２５）、それに応じてトリミングレイアウトの大まかなタイプを決定する（Ｓ２３０）。例えば、原画像の周辺領域に情報が偏在する場合とは、画像の主題が画像の上下、左右に分かれて存在し、その間には存在しないような場合である。このような場合は、例えば原画像の上下、または左右にそれぞれ一つずつの画像取り出し領域が設定され、それら一対の領域からの画像情報が一体に組み合わされてトリミング画像とされることが決定される。なお、一対の画像取り出し領域は、上下一対、左右一対の画像取り出し領域のいずれかを原画像中の画像情報の分布に応じて選択するように構成することもできる。
【００５８】
一方、判定処理Ｓ２３０において、画像情報が原画像内の一つの領域内に偏在すると判定された場合は、原画像内に一つの画像切り出し領域が設けられ、その領域の画像情報がトリミング画像とされることが決定される。
【００５９】
画像解析部２２のトリミングレイアウト決定手段は、上述のように大まかなレイアウトパターンを定めると（Ｓ２３０）、次に、画像取り出し領域の原画像内での具体的な配置を、原画像の所定の画素属性の画像内分布に基づいて定める（Ｓ２３５、Ｓ２４０）。本装置では、その所定の画素属性として色を採用している。例えば、各画素の色と背景色との偏差が画素属性として評価される。すなわち、背景と異なる色の部分には、背景以外の画像が表現されていると判断するわけである。この偏差は例えば、各画素でのＲＧＢ値と白のＲＧＢ成分との差の二乗和といった数値で客観的に評価されうる。なお、画素属性としては、背景と抽出対象画像部分とを区別できる他のものを採用することができる。例えば、輝度値を用いることも可能である。画素属性は数値評価されるものにあっては、例えば、背景で小さな値をとり抽出対象画像情報において大きな値をとる属性が選択される。また、画素属性としては、単に属性の有無といった二値的な評価がされるものを用いることもできる。
【００６０】
処理Ｓ２３０において、原画像内に一つの画像取り出し領域を設定するとされた場合には、色の偏差の重心がトリミングの中心（アンカー）とされる（Ｓ２３５）。このアンカーの位置と、予め決められたトリミングサイズ（Ｓ８０）か処理Ｓ８５にて定められたトリミングサイズとに基づいて、トリミングレイアウトが決定され（Ｓ２３５）、画像加工部２４が当該トリミングレイアウト内に含まれる画像情報を原画像から取り出す（Ｓ２４５）。
【００６１】
図１４〜１６は、色を画素属性として用いた場合の処理Ｓ２３５の例を示す説明図である。図１４は、原画像２５０の主題が「リンゴ」一つであり、他の部分は背景色なので、色重心を求めることによって「リンゴ」の中央部にアンカーの位置が決定され、トリミング画像２５２は「リンゴ」を中心にした画像となる。
【００６２】
図１５は、原画像２５４に大きな「リンゴ」と小さな「イチゴ」がある程度近接して描かれた例である。２つの対象物がこの程度に近接している場合には、本装置では、画像取り出し領域は１つに設定され処理される。この場合のトリミング画像２５６は、アンカーの位置が両対象物の大小関係から両者の中心よりも「リンゴ」側に寄った位置であるものとなる。ちなみに図１６は、原画像２５８に「リンゴ」とそれと同程度の大きさの「バナナ」がある程度近接して描かれた例であり、トリミング画像２６０は、アンカーが両対象物間のおおよそ中心に位置するものとなる。なお、写真画像のように、色のトーンが原画像内でほぼ均等化している場合は、原画像の中心付近にアンカーが位置することになるであろう。
【００６３】
さて、処理Ｓ２３０において、原画像内に２つの画像取り出し領域を設定するとされた場合には、原画像が複数の部分領域に分割され、それぞれに含まれる画素属性の合計値や密度に基づいて、カットされる領域が決定される（Ｓ２４０）。そして、画像加工部２４が当該トリミングレイアウト内に含まれる画像情報を原画像から取り出し（Ｓ２７０）、取り出されたトリミング画像は、画像送信部１４に渡され、元のファイルフォーマットに形式を整えられる（Ｓ２２０）。
【００６４】
図１７は、処理２３０、Ｓ２４０、Ｓ２７０の処理例を示す模式図である。図において原画像３００は上中下の３段の部分領域３０２〜３０６に分割され、例えばそれぞれの領域における色偏差の平均値が求められる。ここでは、処理Ｓ２３０の判断に基づいて中段の部分領域３０４がカットされることになる。その部分領域３０４の配置及び大きさ、すなわち原画像３００をどのように部分領域３０２〜３０６に分割するかは、中段の部分領域３０４の色偏差の平均値がほぼ０、つまり背景色に近いことや、必要なトリミング量に基づいて処理Ｓ２４０にて決定される。部分領域３０２〜３０６が決定されると、処理Ｓ２７０にて部分領域３０４がカットされ、残る上段の部分領域３０２と下段の部分領域３０６とを接合してトリミング画像３１０が生成される。
【００６５】
なお、判定処理Ｓ２０５にて、トリミング属性値がないことが分かると、処理Ｓ２２５に移行し、以後、判定処理Ｓ２００にてトリミング属性がないと判定された場合と同様の処理が行われる。
【００６６】
以上には、Ｗｅｂページとしてサーバ４から提供されるサービス中に含まれる画像のトリミングの例を示した。この場合には、画像情報はＨＴＭＬで記述されたコンテンツ文書中に所定の形式で指定されたが、本発明は、ＨＴＭＬ以外の種類のコンテンツ文書に対しても有効である。また、上述の処理の説明においては、コンテンツ文書にてトリミング属性等のパラメータが指定されない場合の画像トリミング処理も述べた。そのようなトリミング処理は、コンテンツ文書の存在を必要とせずに行うことができるので、本発明をサーバ４からコンテンツ文書なしに例えば画像情報が単体で提供される場合に適用することも可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態であるサービス中継装置の概略のブロック構成及びそれを用いたサーバ・クライアントシステムの概略構成を示す説明図である。
【図２】本発明に係る処理全体を説明する処理フロー図である。
【図３】トリミングの一例を示す説明図である。
【図４】トリミング属性値に“topleft”が指定された場合のトリミング画像の配置例を示す説明図である。
【図５】トリミング属性値に“top”が指定された場合のトリミング画像の配置例を示す説明図である。
【図６】トリミング属性値に“topright”が指定された場合のトリミング画像の配置例を示す説明図である。
【図７】トリミング属性値に“left”が指定された場合のトリミング画像の配置例を示す説明図である。
【図８】トリミング属性値に“center”が指定された場合のトリミング画像の配置例を示す説明図である。
【図９】トリミング属性値に“right”が指定された場合のトリミング画像の配置例を示す説明図である。
【図１０】トリミング属性値に“bottomleft”が指定された場合のトリミング画像の配置例を示す説明図である。
【図１１】トリミング属性値に“bottom”が指定された場合のトリミング画像の配置例を示す説明図である。
【図１２】トリミング属性値に“bottomright”が指定された場合のトリミング画像の配置例を示す説明図である。
【図１３】画像解析部、画像加工部及び画像送信部での処理Ｓ９０〜Ｓ１００を説明する処理フロー図である。
【図１４】画像取り出し領域が一つである場合のトリミングレイアウトの例を示す説明図である。
【図１５】画像取り出し領域が一つである場合のトリミングレイアウトの例を示す説明図である。
【図１６】画像取り出し領域が一つである場合のトリミングレイアウトの例を示す説明図である。
【図１７】画像取り出し領域が二つである場合のトリミングレイアウト決定処理の例を示す模式図である。
【符号の説明】
【００６８】
２ サービス中継装置、４ サーバ、６ 携帯情報端末、１０ ＨＴＭＬ受信・解析部、１２ 画像取得部、１４ 画像送信部、２０ 画像サイズ調整部、２２ 画像解析部、２４ 画像加工部、１５０，２５０，２５４，２５８，３００ 原画像、１５２，２５２，２５６，２６０，３１０ トリミング画像、３０２，３０４，３０６ 部分領域。
【技術分野】
【０００１】
本発明は、画像情報を含むコンテンツ文書を提供する技術に関する。
【背景技術】
【０００２】
インターネットではＷＷＷ（World Wide Web）を中心に各種形態のサービスの提供が行われている。ＷＷＷを利用する場合、サーバからはＨＴＭＬ（Hyper Text Markup Language）によって記述されたテキスト（以下、ＨＴＭＬ文書という）などの文書の形態で情報やサービスが提供される。クライアント上で動作するビュアまたはブラウザと呼ばれるソフトウェアは、サーバから送られるＨＴＭＬ文書等のテキストを解釈してクライアントである計算機や情報端末の画面上への表示を行う。ブラウザを用いてＷＷＷにアクセスすることによって、サービスごとに専用アプリケーションを用意する必要がなく、利用者側の負担が大幅に軽減される。そのため、ＰＤＡ（Personal Digital Assistance）など、ネットワークに対応した携帯型の情報端末が急速に普及している。
【０００３】
この携帯型情報端末は、携帯に便利なように小型化が要求されるため、画面サイズが、一般の小型汎用コンピュータに比べて制限される。そのため、小型汎用コンピュータのディスプレイを想定して作成されサーバから提供される画像情報には、携帯情報端末の画面内に一度に表示できないものもある。
【０００４】
このような画像情報に対しては、携帯情報端末のユーザは、従来は単純には画面を縦方向または横方向にスクロールすることによってその画像全体を把握することを行っていた。
【０００５】
また、携帯情報端末の中には、受信した画像情報を自画面内に表示できるサイズに縮小する機能を備えているものもあった。例えば、携帯情報端末において、Ｗｅｂページ等のコンテンツに含まれる画像部分を面積比で１／４にして表示することは行われていた。
【０００６】
しかし、画面をスクロールするという方法は、ユーザに余計な操作を要求することになるという問題があった。また、多くの画像情報は、その全体を一見されることによってユーザに伝達されうるものであり、これをスクロールという方法で部分的に画面表示することは画像情報本来の情報伝達力を損ない、ユーザの情報理解を阻害するおそれがあるという問題もあった。
【０００７】
一方、画像情報を縮小して表示するという方法は、画像の解像度を低下させるものであり、画像がつぶれてユーザにその画像情報を認識しづらくする、または全く認識できなくするという問題を有していた。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、サーバから提供される画像情報を画面サイズが制限されたクライアントにおいて良好なユーザインターフェースを確保しつつ表示する画像サイズ調整システム、画像サイズ調整装置、画像サイズ調整方法、およびコンテンツ文書を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像サイズ調整システムは、送信側と受信側とからなる画像サイズ調整システムであって、前記送信側は、画像を含んだ画面表示コンテンツとともにトリミング指示を記述するコンテンツ文書を送信する送信手段を有し、前記受信側は、前記コンテンツ文書を受信する受信手段と、前記コンテンツ文書中に指定された原画像情報群を取得する取得手段と、前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段と、前記トリミング指示にトリミング対象として示された原画像情報により表される原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成する画像トリミング手段と、を有することを特徴とする。
【００１０】
この構成によれば、受信側が前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段を有し、前記画像トリミング手段が前記トリミング指示に応じて、前記原画像情報についてのトリミング処理を行う。ここでトリミングとは、原画像の一部領域の情報のみを取り出すことであり、取り出された一部の画像情報をトリミング画像情報と称する。トリミング画像情報に対応する画像サイズは、基本的には原画像のサイズまたはそれより小さくされるであろう。クライアントへはこのトリミング画像情報が提供される。
【００１１】
トリミング指示は、コンテンツ文書全体に有効であってもよいし、コンテンツ文書に含まれる原画像ごとに有効であってもよい。画像トリミング手段は、トリミング指示が有効な原画像に対してトリミングを行う。
【００１２】
本発明に係る画像サイズ調整システムの１つの態様では、前記画像トリミング手段は、前記コンテンツ文書中に前記トリミング対象の原画像に対するトリミングサイズが示されている場合、そのトリミングサイズとなるように、前記トリミング対象の原画像をトリミングすることを特徴とする。
【００１３】
本発明に係る画像サイズ調整システムの１つの態様では、受信側は、前記コンテンツ文書中に指定されるトリミングの基準点を示すトリミングタイプに応じて、前記原画像から取り出される前記一部領域を決定するトリミングレイアウト決定手段を備えたものである。
【００１４】
この構成によれば、コンテンツ文書中に指定されるトリミングタイプに応じて、原画像のうちどの部分が取り出されるかが決定される。例えば、トリミングタイプには、原画像の中央、上下、左右等といった位置が指定されており、トリミングレイアウト決定手段は、指定されたトリミングタイプに応じて例えばトリミング画像の中心等の基準点を定めトリミング画像構図を決定する。トリミング画像のサイズは、所定値にすることもできるし、別途与えられる値によって定めることもできる。
【００１５】
本発明に係る画像サイズ調整システムの１つの態様では、前記トリミングレイアウト決定手段は、前記コンテンツ文書中にトリミングタイプが示されていない場合、前記原画像の所定の画素属性の画像内分布に基づいて、前記原画像から取り出される前記一部領域の配置を定めることを特徴とする。
【００１６】
この構成によれば、例えば、原画像の各点での色と所定の背景色との相違の度合いや、輝度値といった画素属性が用いられる。例えば、画素属性には背景と抽出対象画像部分とを区別できるものが用いられる。例えば、画素属性を数値で評価可能な場合は、背景で小さな値をとり抽出対象画像情報において大きな値をとる属性が選択される。画素属性の分布は、単に当該属性を有する画素と有さない画素の多寡に基づいて定めることもできるし、値で評価可能な属性を用いる場合には、その値により重み付けを行った上で定めることもできる。
【００１７】
本発明の好適な態様は、前記トリミングレイアウト決定手段が、前記原画像を複数の部分領域に分割する手段と、前記各部分領域内における前記画素属性の密度を求める手段と、前記密度に基づいて前記複数の部分領域から、前記原画像から取り出される前記一部領域を選択する手段とを有するものである。
【００１８】
この態様では、原画像が例えばその配置がそれぞれ上中下である３つの部分領域に分割され、中段の部分領域において背景を示す画素属性の密度が高ければ、中段をトリミングして、上段と下段の部分領域が前記一部領域として選択される。
【００１９】
また本発明の他の好適な態様は、前記トリミングレイアウト決定手段が、前記画素属性の重心位置を求め、前記原画像から取り出される前記一部領域の配置を前記重心位置に基づいて定めるものである。
【００２０】
この態様では、重心位置が原画像内での抽出対象画像情報のおおまかな分布を示す。つまり、例えば重心位置が左側に寄っていれば、抽出対象画像情報は原画像の左側に存在する確率が高いので、トリミングレイアウト決定手段は、この場合には原画像から取り出される領域、すなわちトリミングレイアウトを左寄りに設定する。
【発明の効果】
【００２１】
本発明に係る画像サイズ調整システムは、当該画像情報をトリミングするための情報とともに送受信することができる。よって、クライアントが画面サイズの制約等により、大きなサイズの画像を一度に表示できない場合であっても、トリミング画像ならばブラウザ内に一度に表示を行うことができ、サーバからの画像サービスを良好な解像度で利用できるという効果が得られる。つまり、ユーザは画面をスクロールするといった操作から開放され、ユーザインターフェースが向上するという効果が得られる。
【発明を実施するための最良の形態】
【００２２】
次に、本発明の実施形態について図面を参照して説明する。
【００２３】
図１は、本発明の実施の形態であるサービス中継装置の概略のブロック構成及びそれを用いたサーバ・クライアントシステムの概略構成を示す説明図である。サービス中継装置２は、例えばＷｅｂサービスを提供するサーバ４とそのサービスを受けるクライアントである携帯情報端末６とを通信回線（図示せず）を介して中継する。なお、図にはサーバ４、携帯情報端末６はそれぞれ一つしか示されていないが、サービス中継装置２は複数のサーバ４と複数の携帯情報端末６とを中継・接続することができる。またクライアントとして、他の端末、例えば通常の小型汎用コンピュータを接続することも可能である。
【００２４】
さて、携帯情報端末６は、サービスを直接、サーバ４に要求するのではなく、サービス中継装置２に対して要求する。具体的には、携帯情報端末６においてはサーバ４のＵＲＬ（Uniform Resource Locator）ではなく、サービス中継装置２のＵＲＬが指定される。したがって、ユーザからはサービス中継装置２がひとつのサーバに見える。
【００２５】
サービス中継装置２は、大きくは、クライアントとの間で必要な情報の授受を行うクライアント連絡機能を有する部分と、サーバとの間で必要な情報の授受を行うサーバ連絡機能を有する部分と、サービス中継装置２における付加処理等を行う部分とに分かれる。
【００２６】
図においてＨＴＭＬ受信・解析部１０及び画像取得部１２は、サーバアクセス手段であり、サーバ連絡機能を有する部分の一部を構成する。一方、クライアント連絡機能を有する部分は画像送信部１４を含んで構成される。また、本発明に係る付加処理等を行う部分は画像サイズ調整部２０、画像解析部２２及び画像加工部２４を含んで構成される。
【００２７】
次に各部の機能を説明する。ＨＴＭＬ受信・解析部１０は、携帯情報端末６から要求があったＷｅｂページのＨＴＭＬテキスト（コンテンツ文書）をサーバ４から受信する。ＨＴＭＬ受信・解析部１０は、受信したコンテンツ文書を解釈する機能を有する。特に、当該コンテンツ文書中にリンクが定義されている場合には、そのリンク先からの情報取得処理を起動させる機能や、コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段としての機能を有する。
【００２８】
画像取得部１２は、ＨＴＭＬ受信・解析部１０からの指示に基づいてサーバ４から画像（原画像）を取得するという情報取得処理を行う。
【００２９】
画像サイズ調整部２０は、ＨＴＭＬ受信・解析部１０から出力されるコンテンツ文書と、画像取得部１２から出力される画像情報をそれぞれ受け取る。そして、それらに基づいて、まずトリミングを行うか否かが判断され、トリミングを行う場合にはトリミング量が決定される。画像サイズ調整部２０は、トリミングを行うか否かの判断手段の一つとして、原画像の表示サイズと携帯情報端末６のブラウザの表示領域サイズとの比較に基づいて判断を行うトリミング要否判定手段を有している。トリミングを行う場合には、画像サイズ決定手段によって、トリミング後の画像サイズが携帯情報端末６のブラウザに表示可能なサイズに定められる。
【００３０】
ここで、原画像の表示サイズとは、トリミング処理を行わなかった場合にクライアントの画面に表示されるであろう画像サイズであり、原画像情報自体、またはサーバが提供するコンテンツ文書中において画像表示領域の指定がされている場合にはその指定によって定められる。例えば、原画像の表示サイズより大きな画面サイズのディスプレイにおいてはブラウザの表示領域も大きく確保でき、画像情報は基本的には原画像のまま表示される。しかし画面サイズが小さいクライアントでは、画像情報を原画像の表示サイズに表示することが難しい場合がある。トリミング要否判定手段は、例えばクライアントのブラウザ画面サイズすなわちブラウザの表示領域のサイズに応じて定められる基準より原画像の表示サイズが大きいか否かを判断し、大きい場合にはトリミングを行うことを決定し、画像トリミング手段にトリミングを指示する。
【００３１】
画像解析部２２は、コンテンツ文書又は原画像情報を解析して、原画像から取り出される抽出対象画像領域を決定する。すなわち、トリミングレイアウトを決定する。このトリミングレイアウト決定は、コンテンツ文書に指定されるトリミングタイプに基づくレイアウト決定処理や、原画像の所定の画素属性の原画像内での分布に基づくレイアウト決定処理によって行われる。
【００３２】
画像加工部２４は、画像解析部２２で決定されたトリミングレイアウトに基づいて原画像をトリミングする。
【００３３】
画像送信部１４は、画像加工部２４でトリミングされた画像情報を元のファイルフォーマットに形式を整え、携帯情報端末６へ送出する。
【００３４】
次に、本装置の処理を説明する。図２は、本発明に係る処理全体を説明する処理フロー図である。携帯情報端末６がサービス中継装置２を介してサーバ４へＷｅｂページ等のコンテンツを要求すると、それに応じてサーバ４はサービス中継装置２へコンテンツを記述するＨＴＭＬ文書を送信する。サービス中継装置２では、ＨＴＭＬ受信・解析部１０がサーバ４から送られてきたＨＴＭＬ文書を受け取り（Ｓ５０）、これを解析する（Ｓ５５）。
【００３５】
解析の結果、ＨＴＭＬ文書にリンクが定義されていることが明らかになると、ＨＴＭＬ受信・解析部１０は、そのリンク先にアクセスして指定されたファイルを取得する処理を起動させる。例えば、ＨＴＭＬ文書に、画像表示を指示する＜ＩＭＧ＞タグを検出すると、画像取得部１２を起動する。
【００３６】
画像取得部１２は、そのタグ中にＳＲＣオプションで指定される画像ファイルをサーバ４へ要求し、サーバ４から送られるそのファイルを受信する（Ｓ６０）。受信したファイルは画像サイズ調整部２０へ渡される。
【００３７】
また、ＨＴＭＬ受信・解析部１０は、ＨＴＭＬ文書中に指定されているトリミング指示を検知し、トリミングのリクエストを画像サイズ調整部２０へ送る（Ｓ６５）。
【００３８】
例えば、ＨＴＭＬ文書中でのトリミング指示は、
＜IMG SRC="/Images/welcome.jpg" TRIMMING＞
といった＜ＩＭＧ＞タグの記述により行われる。ここで、タグの最後に指定された属性“TRIMMING”が、当該タグに指定された画像に対してトリミングを行うことを指示するものである。なお、タグ中程の“SRC=”に続いて画像ファイルの指定が記述されている。
【００３９】
画像サイズ調整部２０は、ＨＴＭＬ受信・解析部１０から出力されるコンテンツ文書、トリミングリクエスト及び、画像取得部１２から出力される画像情報を入力される。画像サイズ調整部２０はトリミング要否判定手段によって、まず入力された原画像情報に対してトリミングを行うか否かを判断する（Ｓ７０）。
【００４０】
トリミング要否判定手段は、ＨＴＭＬ受信・解析部１０からトリミングのリクエストを受信している場合には必ずトリミングを行うと決定する。さらに、本装置では、従来よりのＷｅｂページ等、トリミング指定を考慮せずに作成されたコンテンツをも必要に応じてトリミングを行って携帯情報端末６に提供できるように、トリミング要否判定手段が構成されている。
【００４１】
具体的には、トリミング要否判定手段は、トリミングリクエストをＨＴＭＬ受信・解析部１０から受け取らない場合には、トリミング処理を行わなかった場合にクライアントの画面に表示されるであろう画像サイズと携帯情報端末６のブラウザの表示領域サイズとの比較に基づいて判断を行う。まず本装置は、クライアントからサービス提供のリクエストがあったときに、クライアントのブラウザの表示領域サイズを判別する。例えば本装置は、クライアントがＨＴＴＰのリクエストを送信する際、そのリクエスト内に用意されたクライアント情報項目に値を設定している場合には、それに基づいてクライアントの種別を判別し、予め登録された端末種別と当該端末にインプリメントされたブラウザの有効表示領域との対応テーブルから、リクエストを発したクライアントのブラウザの表示領域サイズを認識する。また、サービス中継装置２の利用の許諾が与えられたクライアントごとにそのアドレス等の端末識別情報とブラウザ表示領域サイズとの対応関係のテーブルを予め本装置に登録・保持しておいて、リクエスト元の端末の識別情報からテーブルを検索してブラウザの表示領域サイズを認識するという方法も可能である。
【００４２】
一方、原画像の表示サイズは、サーバが提供するＨＴＭＬ文書中の＜ＩＭＧ＞タグに画像表示領域を指定するパラメータが指定されている場合には、そのサイズが採用され、指定されていない場合には原画像情報の本来のサイズが採用される。
【００４３】
トリミング要否判定手段は、このようにして得られた原画像の表示サイズとクライアントのブラウザの表示領域サイズとを比較し、原画像の表示サイズがブラウザの表示領域サイズの例えば０．２５倍より大きい場合には、トリミングを行うと決定する。なお、この原画像の表示サイズとブラウザ表示領域サイズとの比を暫定値とし、様々なＷｅｂページから原画像を取得するごとに値を変えるようにすることもできる。この場合、トリミングを行うか否かの閾値の比は、画像ごとの比を統計処理して、逐次更新するように構成することができる。
【００４４】
処理Ｓ７０の判断によりトリミングを行うと決定された場合には（Ｓ７５）、画像サイズ調整部２０は、トリミングサイズが決まっているか否かを判定する（Ｓ８０）。トリミングサイズが決まっていない場合には、画像サイズ調整部２０の画像サイズ決定手段が、画像取得部１２からの原画像の画像サイズやＨＴＭＬ文書の指定等に基づいて、トリミング量を求めトリミング後の画像サイズ（トリミング画像サイズ）を決定する（Ｓ８５）。
【００４５】
画像サイズ決定手段は、例えば、＜ＩＭＧ＞タグに指定されるＷＩＤＴＨ属性やＨＥＩＧＨＴ属性をトリミング画像サイズを定めるために用いる。これらＷＩＤＴＨ属性やＨＥＩＧＨＴ属性は、一般には、それらの値に合わせて画像を表示するために用いられるものであり、例えば次行に示す形式で使用される。
＜IMG SRC="/Images/welcome.jpg" WIDTH="364",HEIGHT="280"＞
【００４６】
画像サイズ決定手段は、トリミングを行うと決定された場合には、これらＷＩＤＴＨ属性、ＨＥＩＧＨＴ属性によって指定されるサイズをトリミング画像サイズに設定することができる。ＷＩＤＴＨ、ＨＥＩＧＨＴの値がクライアントのブラウザ表示領域サイズより大きい場合や、ＷＩＤＴＨ属性、ＨＥＩＧＨＴ属性が指定されていない場合には、画像サイズ決定手段は、トリミング画像サイズをクライアントのブラウザ表示領域サイズより小さくなるように定める。
【００４７】
画像サイズ調整部２０は、このように決定したトリミング画像サイズを、ＨＴＭＬ文書、原画像情報とともに画像解析部２２へ渡す。なお、判定処理Ｓ８０において、トリミング画像サイズが決まっている場合には上述した処理Ｓ８５は省略され、その決まっているトリミングサイズが画像解析部２２に渡される。
【００４８】
画像解析部２２は、コンテンツ文書又は原画像情報を解析して、トリミング画像サイズで指定される大きさの画像情報を原画像のどの部分から取り出すべきかを決定する（Ｓ９０）。そして、画像加工部２４が、画像解析部２２で決定されたトリミングレイアウトに基づいて原画像をトリミングする（Ｓ９５）。トリミングされた画像情報は、画像送信部１４へ送られ、ここで元のファイルフォーマットに形式を整えられ（Ｓ１００）、携帯情報端末６のブラウザへ送信される（Ｓ１０５）。
【００４９】
なお、判定処理Ｓ７５において、トリミングを行わないと決定された場合には、処理Ｓ８０〜Ｓ１００は省略され、処理Ｓ１０５に移行して、原画像情報がそのまま携帯情報端末６のブラウザへ送信される。
【００５０】
さて、上述した＜ＩＭＧ＞タグ中に指定されるＴＲＩＭＭＩＮＧ属性には、トリミングレイアウトのタイプを指定することができる。例えば、
＜IMG SRC="/Images/welcome.jpg" TRIMMING="center"＞
といった形式で、“TRIMMING=”に続いてタイプを指定することができる。この場合の値“center”は、原画像の中央にトリミングの基準点（アンカー）を設定するものである。例えば、このアンカーが中心点であってトリミング画像サイズで指定される大きさの画像情報が原画像から取り出される。図３は、この場合のトリミングの一例を示す説明図である。原画像１５０の中央部に示された枠内の画像１５２がトリミング画像として取り出される。
【００５１】
アンカー位置を指定するタイプには、様々なものを用意することができる。図４〜図１２は原画像中におけるトリミング画像の配置例をアンカーの各タイプごとに示す説明図である。図４〜６がそれぞれトリミング属性“topleft”、“top”、“topright”における原画像中のトリミング画像の配置を示す図である。図において枠１５４が原画像１５０中でのトリミング画像の配置を示す。トリミング属性値“topleft”、“top”、“topright”は、トリミング画像が原画像の左右方向に関してはそれぞれ左、中央、右に位置する点で相違するが、原画像の上下方向に関してはともに上方に配置される点で共通するものである。また、トリミング属性値“left”、“center”、“right”は、トリミング画像が原画像１５０の左右方向に関してはそれぞれ左、中央、右に位置する点で相違するが、原画像１５０の上下方向に関してはともに中央に配置される点で共通するものである。図７〜９がそれぞれ“left”、“center”、“right”の配置を示す図である。同様に、トリミング属性値“bottomleft”、“bottom”、“bottomright”は、トリミング画像が原画像１５０の左右方向に関してはそれぞれ左、中央、右に位置する点で相違するが、原画像１５０の上下方向に関してはともに下方に配置される点で共通するものである。図１０〜１２がそれぞれ“bottomleft”、“bottom”、“bottomright”の配置を示す図である。
【００５２】
画像解析部２２、画像加工部２４では、上述したトリミング属性値を利用して処理が行われる。図１３は、画像解析部２２、画像加工部２４及び画像送信部１４での処理Ｓ９０〜Ｓ１００を説明する処理フロー図である。
【００５３】
トリミングを行うことが決定され、処理が画像解析部２２に移行すると、画像解析部２２は、渡されたＨＴＭＬ文書中の＜ＩＭＧ＞タグにトリミング属性“TRIMMING”が指定されているかどうかを調べる（Ｓ２００）。もし指定されていれば、それに上述したようなトリミング属性値が指定されているかどうかが調べられる（Ｓ２０５）。
【００５４】
トリミング属性値が指定されていれば、画像解析部２２は、その属性値で指定される原画像内でのトリミング画像の配置と、トリミングサイズとからトリミングレイアウトを定め（Ｓ２１０）、画像加工部２４が当該トリミングレイアウト内に含まれる画像情報を原画像から取り出す（Ｓ２１５）。
【００５５】
取り出されたトリミング画像は、画像送信部１４に渡され、元のファイルフォーマットに形式を整えられる（Ｓ２２０）。
【００５６】
一方、処理Ｓ９０の一部である判定処理Ｓ２００においてトリミング属性が指定されていない場合は、トリミング処理を行わなかった場合にクライアントの画面に表示されるであろう画像サイズと携帯情報端末６のブラウザの表示領域サイズとの比較（Ｓ７０）に基づいてトリミングを行うと決定された場合（Ｓ７５）である。
【００５７】
この場合には、画像解析部２２が原画像情報に基づいてトリミングレイアウトを決定する。例えば画像解析部２２は、既存の輪郭線抽出等の画像解析処理の手法を用いて、例えば、原画像の周辺領域とその内側領域とのいずれに画像としての情報がより多く含まれるかを判定し（Ｓ２２５）、それに応じてトリミングレイアウトの大まかなタイプを決定する（Ｓ２３０）。例えば、原画像の周辺領域に情報が偏在する場合とは、画像の主題が画像の上下、左右に分かれて存在し、その間には存在しないような場合である。このような場合は、例えば原画像の上下、または左右にそれぞれ一つずつの画像取り出し領域が設定され、それら一対の領域からの画像情報が一体に組み合わされてトリミング画像とされることが決定される。なお、一対の画像取り出し領域は、上下一対、左右一対の画像取り出し領域のいずれかを原画像中の画像情報の分布に応じて選択するように構成することもできる。
【００５８】
一方、判定処理Ｓ２３０において、画像情報が原画像内の一つの領域内に偏在すると判定された場合は、原画像内に一つの画像切り出し領域が設けられ、その領域の画像情報がトリミング画像とされることが決定される。
【００５９】
画像解析部２２のトリミングレイアウト決定手段は、上述のように大まかなレイアウトパターンを定めると（Ｓ２３０）、次に、画像取り出し領域の原画像内での具体的な配置を、原画像の所定の画素属性の画像内分布に基づいて定める（Ｓ２３５、Ｓ２４０）。本装置では、その所定の画素属性として色を採用している。例えば、各画素の色と背景色との偏差が画素属性として評価される。すなわち、背景と異なる色の部分には、背景以外の画像が表現されていると判断するわけである。この偏差は例えば、各画素でのＲＧＢ値と白のＲＧＢ成分との差の二乗和といった数値で客観的に評価されうる。なお、画素属性としては、背景と抽出対象画像部分とを区別できる他のものを採用することができる。例えば、輝度値を用いることも可能である。画素属性は数値評価されるものにあっては、例えば、背景で小さな値をとり抽出対象画像情報において大きな値をとる属性が選択される。また、画素属性としては、単に属性の有無といった二値的な評価がされるものを用いることもできる。
【００６０】
処理Ｓ２３０において、原画像内に一つの画像取り出し領域を設定するとされた場合には、色の偏差の重心がトリミングの中心（アンカー）とされる（Ｓ２３５）。このアンカーの位置と、予め決められたトリミングサイズ（Ｓ８０）か処理Ｓ８５にて定められたトリミングサイズとに基づいて、トリミングレイアウトが決定され（Ｓ２３５）、画像加工部２４が当該トリミングレイアウト内に含まれる画像情報を原画像から取り出す（Ｓ２４５）。
【００６１】
図１４〜１６は、色を画素属性として用いた場合の処理Ｓ２３５の例を示す説明図である。図１４は、原画像２５０の主題が「リンゴ」一つであり、他の部分は背景色なので、色重心を求めることによって「リンゴ」の中央部にアンカーの位置が決定され、トリミング画像２５２は「リンゴ」を中心にした画像となる。
【００６２】
図１５は、原画像２５４に大きな「リンゴ」と小さな「イチゴ」がある程度近接して描かれた例である。２つの対象物がこの程度に近接している場合には、本装置では、画像取り出し領域は１つに設定され処理される。この場合のトリミング画像２５６は、アンカーの位置が両対象物の大小関係から両者の中心よりも「リンゴ」側に寄った位置であるものとなる。ちなみに図１６は、原画像２５８に「リンゴ」とそれと同程度の大きさの「バナナ」がある程度近接して描かれた例であり、トリミング画像２６０は、アンカーが両対象物間のおおよそ中心に位置するものとなる。なお、写真画像のように、色のトーンが原画像内でほぼ均等化している場合は、原画像の中心付近にアンカーが位置することになるであろう。
【００６３】
さて、処理Ｓ２３０において、原画像内に２つの画像取り出し領域を設定するとされた場合には、原画像が複数の部分領域に分割され、それぞれに含まれる画素属性の合計値や密度に基づいて、カットされる領域が決定される（Ｓ２４０）。そして、画像加工部２４が当該トリミングレイアウト内に含まれる画像情報を原画像から取り出し（Ｓ２７０）、取り出されたトリミング画像は、画像送信部１４に渡され、元のファイルフォーマットに形式を整えられる（Ｓ２２０）。
【００６４】
図１７は、処理２３０、Ｓ２４０、Ｓ２７０の処理例を示す模式図である。図において原画像３００は上中下の３段の部分領域３０２〜３０６に分割され、例えばそれぞれの領域における色偏差の平均値が求められる。ここでは、処理Ｓ２３０の判断に基づいて中段の部分領域３０４がカットされることになる。その部分領域３０４の配置及び大きさ、すなわち原画像３００をどのように部分領域３０２〜３０６に分割するかは、中段の部分領域３０４の色偏差の平均値がほぼ０、つまり背景色に近いことや、必要なトリミング量に基づいて処理Ｓ２４０にて決定される。部分領域３０２〜３０６が決定されると、処理Ｓ２７０にて部分領域３０４がカットされ、残る上段の部分領域３０２と下段の部分領域３０６とを接合してトリミング画像３１０が生成される。
【００６５】
なお、判定処理Ｓ２０５にて、トリミング属性値がないことが分かると、処理Ｓ２２５に移行し、以後、判定処理Ｓ２００にてトリミング属性がないと判定された場合と同様の処理が行われる。
【００６６】
以上には、Ｗｅｂページとしてサーバ４から提供されるサービス中に含まれる画像のトリミングの例を示した。この場合には、画像情報はＨＴＭＬで記述されたコンテンツ文書中に所定の形式で指定されたが、本発明は、ＨＴＭＬ以外の種類のコンテンツ文書に対しても有効である。また、上述の処理の説明においては、コンテンツ文書にてトリミング属性等のパラメータが指定されない場合の画像トリミング処理も述べた。そのようなトリミング処理は、コンテンツ文書の存在を必要とせずに行うことができるので、本発明をサーバ４からコンテンツ文書なしに例えば画像情報が単体で提供される場合に適用することも可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態であるサービス中継装置の概略のブロック構成及びそれを用いたサーバ・クライアントシステムの概略構成を示す説明図である。
【図２】本発明に係る処理全体を説明する処理フロー図である。
【図３】トリミングの一例を示す説明図である。
【図４】トリミング属性値に“topleft”が指定された場合のトリミング画像の配置例を示す説明図である。
【図５】トリミング属性値に“top”が指定された場合のトリミング画像の配置例を示す説明図である。
【図６】トリミング属性値に“topright”が指定された場合のトリミング画像の配置例を示す説明図である。
【図７】トリミング属性値に“left”が指定された場合のトリミング画像の配置例を示す説明図である。
【図８】トリミング属性値に“center”が指定された場合のトリミング画像の配置例を示す説明図である。
【図９】トリミング属性値に“right”が指定された場合のトリミング画像の配置例を示す説明図である。
【図１０】トリミング属性値に“bottomleft”が指定された場合のトリミング画像の配置例を示す説明図である。
【図１１】トリミング属性値に“bottom”が指定された場合のトリミング画像の配置例を示す説明図である。
【図１２】トリミング属性値に“bottomright”が指定された場合のトリミング画像の配置例を示す説明図である。
【図１３】画像解析部、画像加工部及び画像送信部での処理Ｓ９０〜Ｓ１００を説明する処理フロー図である。
【図１４】画像取り出し領域が一つである場合のトリミングレイアウトの例を示す説明図である。
【図１５】画像取り出し領域が一つである場合のトリミングレイアウトの例を示す説明図である。
【図１６】画像取り出し領域が一つである場合のトリミングレイアウトの例を示す説明図である。
【図１７】画像取り出し領域が二つである場合のトリミングレイアウト決定処理の例を示す模式図である。
【符号の説明】
【００６８】
２ サービス中継装置、４ サーバ、６ 携帯情報端末、１０ ＨＴＭＬ受信・解析部、１２ 画像取得部、１４ 画像送信部、２０ 画像サイズ調整部、２２ 画像解析部、２４ 画像加工部、１５０，２５０，２５４，２５８，３００ 原画像、１５２，２５２，２５６，２６０，３１０ トリミング画像、３０２，３０４，３０６ 部分領域。
【特許請求の範囲】
【請求項１】
送信側と受信側とからなる画像サイズ調整システムであって、
前記送信側は、画像を含んだ画面表示コンテンツとともにトリミング指示を記述するコンテンツ文書を送信する送信手段を有し、
前記受信側は、
前記コンテンツ文書を受信する受信手段と、
前記コンテンツ文書中に指定された原画像情報群を取得する取得手段と、
前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段と、
前記トリミング指示にトリミング対象として示された原画像情報により表される原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成する画像トリミング手段と、
を有することを特徴とする画像サイズ調整システム。
【請求項２】
請求項１に記載の画像サイズ調整システムにおいて、
前記画像トリミング手段は、前記コンテンツ文書中に前記トリミング対象の原画像に対するトリミングサイズが示されている場合、そのトリミングサイズとなるように、前記トリミング対象の原画像をトリミングすることを特徴とする画像サイズ調整システム。
【請求項３】
前記受信側は、前記コンテンツ文書中に指定されるトリミングの基準点を示すトリミングタイプに応じて、前記トリミング対象の原画像から取り出される前記一部領域を決定するトリミングレイアウト決定手段を有することを特徴とする請求項１記載の画像サイズ調整システム。
【請求項４】
請求項３に記載の画像サイズ調整システムにおいて、
前記トリミングレイアウト決定手段は、前記コンテンツ文書中にトリミングタイプが示されていない場合、前記原画像の所定の画素属性の画像内分布に基づいて、前記原画像から取り出される前記一部領域の配置を定めることを特徴とする画像サイズ調整システム。
【請求項５】
前記トリミングレイアウト決定手段は、
前記原画像を複数の部分領域に分割する手段と、
前記各部分領域内における前記画素属性の密度を求める手段と、
前記密度に基づいて前記複数の部分領域から、前記原画像から取り出される前記一部領域を選択する手段と、
を有することを特徴とする請求項４記載の画像サイズ調整システム。
【請求項６】
前記トリミングレイアウト決定手段は、前記画素属性の重心位置を求め、前記原画像から取り出される前記一部領域の配置を前記重心位置に基づいて定めることを特徴とする請求項４記載の画像サイズ調整システム。
【請求項７】
画像を含んだ画面表示コンテンツを記述するコンテンツ文書及び当該コンテンツ文書中に指定された原画像情報群を取得する取得手段と、
前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段と、
前記トリミング指示にトリミング対象として示された原画像情報により表される原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成する画像トリミング手段と、
を有することを特徴とする画像サイズ調整装置。
【請求項８】
画像を含んだ画面表示コンテンツを記述するコンテンツ文書及び当該コンテンツ文書中に指定された原画像情報群を取得する取得工程と、
前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知工程と、
前記トリミング指示にトリミング対象として示された原画像情報により表される原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成する画像トリミング工程と、
を含むことを特徴とする画像サイズ調整方法。
【請求項９】
画像を含んだ画面表示コンテンツを記述するコンテンツ文書であって、前記画像に応じた原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成するためのトリミング指示が示されていることを特徴とするコンテンツ文書。
【請求項１】
送信側と受信側とからなる画像サイズ調整システムであって、
前記送信側は、画像を含んだ画面表示コンテンツとともにトリミング指示を記述するコンテンツ文書を送信する送信手段を有し、
前記受信側は、
前記コンテンツ文書を受信する受信手段と、
前記コンテンツ文書中に指定された原画像情報群を取得する取得手段と、
前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段と、
前記トリミング指示にトリミング対象として示された原画像情報により表される原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成する画像トリミング手段と、
を有することを特徴とする画像サイズ調整システム。
【請求項２】
請求項１に記載の画像サイズ調整システムにおいて、
前記画像トリミング手段は、前記コンテンツ文書中に前記トリミング対象の原画像に対するトリミングサイズが示されている場合、そのトリミングサイズとなるように、前記トリミング対象の原画像をトリミングすることを特徴とする画像サイズ調整システム。
【請求項３】
前記受信側は、前記コンテンツ文書中に指定されるトリミングの基準点を示すトリミングタイプに応じて、前記トリミング対象の原画像から取り出される前記一部領域を決定するトリミングレイアウト決定手段を有することを特徴とする請求項１記載の画像サイズ調整システム。
【請求項４】
請求項３に記載の画像サイズ調整システムにおいて、
前記トリミングレイアウト決定手段は、前記コンテンツ文書中にトリミングタイプが示されていない場合、前記原画像の所定の画素属性の画像内分布に基づいて、前記原画像から取り出される前記一部領域の配置を定めることを特徴とする画像サイズ調整システム。
【請求項５】
前記トリミングレイアウト決定手段は、
前記原画像を複数の部分領域に分割する手段と、
前記各部分領域内における前記画素属性の密度を求める手段と、
前記密度に基づいて前記複数の部分領域から、前記原画像から取り出される前記一部領域を選択する手段と、
を有することを特徴とする請求項４記載の画像サイズ調整システム。
【請求項６】
前記トリミングレイアウト決定手段は、前記画素属性の重心位置を求め、前記原画像から取り出される前記一部領域の配置を前記重心位置に基づいて定めることを特徴とする請求項４記載の画像サイズ調整システム。
【請求項７】
画像を含んだ画面表示コンテンツを記述するコンテンツ文書及び当該コンテンツ文書中に指定された原画像情報群を取得する取得手段と、
前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知手段と、
前記トリミング指示にトリミング対象として示された原画像情報により表される原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成する画像トリミング手段と、
を有することを特徴とする画像サイズ調整装置。
【請求項８】
画像を含んだ画面表示コンテンツを記述するコンテンツ文書及び当該コンテンツ文書中に指定された原画像情報群を取得する取得工程と、
前記コンテンツ文書中に指定されるトリミング指示を検知するトリミング指示検知工程と、
前記トリミング指示にトリミング対象として示された原画像情報により表される原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成する画像トリミング工程と、
を含むことを特徴とする画像サイズ調整方法。
【請求項９】
画像を含んだ画面表示コンテンツを記述するコンテンツ文書であって、前記画像に応じた原画像をトリミングし、当該原画像の一部領域の情報のみを含んだトリミング画像情報を生成するためのトリミング指示が示されていることを特徴とするコンテンツ文書。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−３１７３０（Ｐ２００６−３１７３０Ａ）
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願番号】特願２００５−２３９７２３（Ｐ２００５−２３９７２３）
【出願日】平成１７年８月２２日（２００５．８．２２）
【分割の表示】特願平９−３４０９５８の分割
【原出願日】平成９年１２月１１日（１９９７．１２．１１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願日】平成１７年８月２２日（２００５．８．２２）
【分割の表示】特願平９−３４０９５８の分割
【原出願日】平成９年１２月１１日（１９９７．１２．１１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]