説明

画像処理装置、方法、及びプログラム

【課題】実施形態によれば、ユーザがコンテンツの内容を認識しやすいサムネイル画像を作成することが可能な画像処理装置、方法、及びプログラムが提供される。
【解決手段】入力部は、処理対象となる画像を入力し、第1領域算出部が、画像内において、特定の領域である第1領域を算出する。第2領域算出部は、画像内において、第1領域を取り囲む領域である第2領域を算出する。変形情報算出部は、第1領域の形状及び大きさと、第2領域の形状及び大きさとに基づいて、第2領域内において、第1領域に含まれる画像を拡大する際の中心となる拡大中心と、第1領域に含まれる画像を拡大する倍率である拡大倍率とを算出する。画像変形部は、拡大中心と拡大倍率とに基づいて、第2領域に含まれる画像を歪ませながら、第1領域に含まれる画像を拡大する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、方法、及びプログラムに関する。
【背景技術】
【0002】
写真や動画等のコンテンツのサムネイル画像を生成する際に、当該サムネイル画像において特徴的な領域である特徴領域を拡大するとともに他の領域を歪ませるように、当該サムネイル画像を作成する画像処理装置がある。
【0003】
このような画像処理装置では、ユーザがコンテンツの内容を認識しやすいサムネイル画像を作成することが可能なものが望まれている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−313511号公報
【特許文献2】特許第3482923号公報
【非特許文献】
【0005】
【非特許文献1】中村 徳裕、阿部 英彦、西尾 孝治、小堀 研一、“Delaunay三角形分割を用いた解像度変換に関する一手法”、画像電子学会誌、Vol.35、No.5、2005.
【非特許文献2】M. Kass, A. Witkin, and D. Terzopoulos, "Snakes: Active Contour Models." International Journal of Computer Vision, Vol.1, No.4, pp. 321-331, 1988.
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、ユーザがコンテンツの内容を認識しやすいサムネイル画像を作成することが可能な画像処理装置、方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の実施形態に係る画像処理装置は、入力部と、第1領域算出部と、第2領域算出部と、変形情報算出部と、画像変形部とを備える。
【0008】
入力部は、処理対象となる画像を入力し、第1領域算出部が、前記画像内において、特定の領域である第1領域を算出する。第2領域算出部は、前記画像内において、前記第1領域を取り囲む領域である第2領域を算出する。変形情報算出部は、前記第1領域の形状及び大きさと、前記第2領域の形状及び大きさとに基づいて、前記第2領域内において、前記第1領域に含まれる画像を拡大する際の中心となる拡大中心と、前記第1領域に含まれる画像を拡大する倍率である拡大倍率とを算出する。画像変形部は、前記拡大中心と前記拡大倍率とに基づいて、前記第2領域に含まれる画像を歪ませながら、前記第1領域に含まれる画像を拡大することを特徴とする。
【図面の簡単な説明】
【0009】
【図1】第1の実施の形態に係る画像処理装置1による画像処理の説明図。
【図2】第1の実施の形態における入力画像50の形式の説明図。
【図3】画像処理装置1の構成を表すブロック図。
【図4】画像処理装置1の処理を表すフローチャート。
【図5】第2領域算出部13の処理を説明するための図。
【図6】変形情報算出部14の処理を表すフローチャート。
【図7】候補点Pnを示す一例図。
【図8】半直線OWと交点D1、及び半直線OWと交点D2を表す概念図。
【図9】変形例における画像変形部15の処理を表すフローチャート。
【図10】第2の実施の形態に係る画像処理装置2の構成を表すブロック図。
【発明を実施するための形態】
【0010】
(第1の実施の形態)
第1の実施の形態に係る画像処理装置1は、入力画像を加工処理して、サムネイル画像を生成するものである。画像処理装置1は、例えば、PC(パーソナルコンピュータ)、携帯電話、デジタルカメラ等、画像を表示することが可能な情報端末等に用いられる。
【0011】
図1は、画像処理装置1による画像処理の説明図である。画像処理装置1は、処理対象となる入力画像50(後述する)の中で、ユーザに注目されやすい領域である第1領域501を算出する。画像処理装置1は、第1領域501を取り囲む領域である第2領域502を算出する。画像処理装置1は、第2領域502に含まれる画像を歪ませながら、第1領域501に含まれる画像を拡大する。画像処理装置1は、第1領域501に含まれる画像を第2領域502内で拡大する。これにより、画像処理装置1は、入力画像50を加工したサムネイル画像60を生成する。
【0012】
すなわち、入力画像50において(図1(a))、第1領域501内にある物体601が拡大され、第2領域502内にある物体602が圧縮されたものが、サムネイル画像60となる(図1(b))。
【0013】
ここで、本実施形態における入力画像50について説明する。図2は、本実施形態における入力画像50を説明するための図である。図2に示すように、入力画像50は、位置(x,y)及び輝度Iで定義される座標空間において、複数のパッチを含むメッシュにより表現される。
【0014】
メッシュは、各頂点の座標情報(x,y,I)及び、一の頂点がどの頂点とエッジで接続されているかを示す接続情報(例えば、図2右下において、「頂点P1は頂点P2〜P8と接続される」といった情報)により表わされてよい。パッチとは、頂点どうしを接続するエッジにより囲まれた一の面をいう。図2において、一のパッチは三角形の形状をした三角形パッチであるが、他の形状をしたパッチあっても構わない。
【0015】
また、入力画像50がカラー画像である場合、各頂点は、輝度Iの他に、色情報(例えば、RGB)を含んでいてもよい。また、各パッチには、各パッチを識別するためのパッチIDが付されていてよい。メッシュにおける各頂点には、各頂点を識別するための頂点IDが付されていてよい。
【0016】
図3は、画像処理装置1の構成を表すブロック図である。画像処理装置1は、入力部11と、処理部5と、提示部16と、記憶部30を備える。処理部5は、第1領域算出部12と、第2領域算出部13と、変形情報算出部14と、画像変形部15とを含む。
【0017】
入力部11は、処理対象となる入力画像50を入力する。入力画像50は、非特許文献1記載の手法により、例えば、JPEGやビットマップ等の元画像を上記メッシュに変換したものであってよい。
【0018】
第1領域算出部12は、入力画像50において、輝度の変化の激しさを表す注目度に基づいて、第1領域501を算出する。すなわち、注目度は、ユーザからの注目されやすさを表す。例えば、注目度は、入力画像50内における輝度の変化の激しさに基づいて求められ得る。例えば、特許文献2の手法を用いてもよい。
【0019】
第2領域算出部13は、第1領域501に基づいて、第1領域501を取り囲む第2領域502を算出する。
【0020】
変形情報算出部14は、第1領域501の大きさ及び形状と、第2領域502の大きさ及び形状とに基づいて、第1領域501を拡大する倍率である拡大倍率Rと、第1領域501を拡大する際の中心となる拡大中心Oとを算出する。
【0021】
画像変形部15は、拡大倍率と、拡大中心とに基づいて、第2領域502に含まれる画像を歪ませながら、第1領域501に含まれる画像を拡大することにより入力画像50を加工し、サムネイル画像60を生成する。提示部16は、サムネイル画像60を提示する。
【0022】
処理部5は、中央演算処理装置(CPU)及びCPUが用いるメモリにより実現されてよい。記憶部30は、CPUが用いるメモリにより実現されてよい。
【0023】
以上、画像処理装置1の構成について説明した。
【0024】
図4は、画像処理装置1の処理を表すフローチャートである。入力部11は、処理対象となる入力画像50を入力する(S301)。第1領域算出部12は、入力画像50の中で、第1領域501を算出する(S302)。第2領域算出部13は、第2領域502を算出する(S303)。変形情報算出部14は、第1領域501の大きさ及び形状と、第2領域502の大きさ及び形状とに基づいて、拡大倍率と、拡大中心とを算出する(S304)。
【0025】
画像変形部15は、拡大倍率と、拡大中心とに基づいて、第1領域501に含まれる画像を拡大しながら、第2領域502に含まれる画像を圧縮することにより、入力画像50を変形し、サムネイル画像60を生成する(S305)。提示部16は、サムネイル画像60を提示する。
【0026】
以上、画像処理装置1の処理について説明した。
【0027】
以下、各部について詳述する。
【0028】
入力部11は、入力した入力画像50を第1領域算出部12と第2領域算出部13とに供給する。また、入力部11は、入力画像50を記憶部30に書き込む。
【0029】
第1領域算出部12は、入力部11から供給された入力画像50の中で、注目度に基づき、第1領域501を算出する。第1領域算出部12は、メッシュにおける複数(k個とする)の頂点を連結することにより取り囲まれる領域(パッチの集合)を第1領域501にしてよい。第1領域算出部12は、例えば、特許文献2記載の手法により、注目度を算出してよい。第1領域算出部12は、第1領域501を第2領域算出部13と変形情報算出部14とに通知する。例えば、第1領域算出部12は、第1領域501に含まれるパッチのパッチIDを第2領域算出部13と変形情報算出部14とに通知してよい。
【0030】
第2領域算出部13は、第1領域501に基づいて、第2領域502を算出する。図5は、第2領域算出部13の処理を説明するための図である。例えば、第2領域算出部13は、第1領域501の大きさに基づき、第1領域501を予め定められた倍率で拡大した領域(例えば、第1領域501の重心を中心として拡大した領域)である一時領域511を設定する。
【0031】
第2領域算出部13は、一時領域511において、第1領域501の輪郭に含まれる各頂点に対応する頂点を、調整点Cn(n=1〜k)として設定する。ただし、このとき第2領域算出部13は、調整点Cnのxy座標を含むパッチの面上に、各調整点Cnを設定する。
【0032】
第2領域算出部13は、一時領域511内に含まれる複数のパッチの輝度の勾配(輝度変化)に基づいて、一時領域511の輪郭が短く、かつ滑らかな形状となるように、調整点Cnを移動させ、一時領域511を変形することにより、第2領域502を算出する。例えば、第2領域算出部13は、非特許文献2記載の動的輪郭モデル(Snake法)を用いることにより、第2領域502を算出してよい。また、例えば、第2領域算出部13は、第1領域501を拡大した状態の一時領域511を第2領域502としても構わない。
【0033】
第2領域算出部13は、第2領域502を変形情報算出部14に通知する。例えば、第2領域算出部13は、第2領域502に含まれるパッチのパッチIDを変形情報算出部14に通知してよい。
【0034】
変形情報算出部14は、第1領域501と第2領域502とに基づいて、第1領域501を拡大する際の中心となる拡大中心Oと、第1領域501を拡大する倍率である拡大倍率Rとを算出する。
【0035】
図6は、変形情報算出部14の処理を表すフローチャートである。変形情報算出部14は、第1領域501において、拡大中心の候補となる複数の候補点Qm(m=1〜s)(sは、候補点の個数である)を設定する(S601)。図7は、候補点Qmを示す一例図である。例えば、変形情報算出部14は、第1領域501内において、第1領域501の重心を求め、当該重心から、予め定められた間隔で格子状に候補点Qmを設定してもよい。
【0036】
変形情報算出部14は、m=1に設定し(S602)、候補点Qmを拡大中心Oとして選択する(S603)。変形情報算出部14は、第1領域501の拡大倍率rを初期値としてr=1.0に設定する(S604)。変形情報算出部14は、候補点Qmを拡大中心Oとして、第1領域501を拡大倍率rだけ拡大する(S605)。具体的には、拡大中心Oから第1領域501内のメッシュの頂点(Vとする)までを結ぶ半直線OVがr倍になる点V’(OV’=r×OV)にメッシュの頂点Vを移動する。これを第1領域501内の全てのメッシュの頂点について行なうことにより、第1領域501が拡大される。
【0037】
変形情報算出部14は、拡大した第1領域501が第2領域502の中に含まれているか否かを判定する(S606)。ステップS606における判定がYESの場合、変形情報算出部14は、拡大倍率rに、所定の定数Δr(例えば、Δr=0.1)を加えたもの(r+Δr)を新たな拡大倍率rとして(S607)、ステップS605に遷移する。
【0038】
ステップS606における判定がNOの場合、変形情報算出部14は、拡大倍率Rを決定する。例えば、変形情報算出部14は、R=r−Δrを拡大倍率Rとして決定してよい。
【0039】
変形情報算出部14は、更新前の拡大倍率R(後述する)よりも拡大倍率rの方が大きいか否かを判定する(S609)。ステップS609における判定がNOの場合、変形情報算出部14は、m=sであるか否かを判定する(S611)。すなわち、変形情報算出部14は、全てのQmを選択したか否かを判定する。ステップS611における判定がNOの場合、mに1を加えたもの(m+1)を新たなmとして、ステップS603に遷移する。
【0040】
ステップS609における判定がYESの場合、変形情報算出部14は、拡大倍率rを新たな拡大倍率Rとして記憶部30に書き込み、拡大倍率Rを更新する。また、そのときのQmを拡大中心Oとして記憶部30に書き込み、拡大中心Oを更新する(S610)。そして、ステップS611に遷移する。
【0041】
ステップS611における判定がYESの場合、変形情報算出部14は、拡大倍率Rと、拡大中心Oとを画像変形部15に通知し、処理を終了する。
【0042】
なお、変形情報算出部14は、図6のフローチャートにおける例ではなく、全ての候補点Qm毎に拡大倍率rを算出して、記憶部30に記憶させておいてもよい。その際、変形情報算出部14は、大きさが最大である拡大倍率rを拡大倍率Rとして決定し、当該拡大倍率rを持つ候補点Qmを拡大中心Oとしてもよい。
【0043】
画像変形部15は、拡大倍率Rと、拡大中心Oとに基づいて、第2領域502を歪ませながら、第1領域501を拡大する。すなわち、画像変形部15は、入力画像50におけるメッシュの各頂点のうち、第1領域501内及び第2領域502内の頂点を拡大倍率Rと、拡大中心Oとに基づいて移動させることにより、入力画像50を加工したサムネイル画像60を生成する。
【0044】
図8は、画像変形部15の処理を表すフローチャートである。図8のフローチャートは、画像変形部15が入力画像50を記憶部30から読み出した状態から開始する。画像変形部15は、入力画像50のメッシュの各頂点において、移動が完了していない一の頂点を処理対象の頂点(処理対象頂点W)として選択する(S801)。
【0045】
画像変形部15は、拡大中心Oから処理対象頂点Wに半直線OWを引き、半直線OWと第1領域501の輪郭との交点D1、及び半直線OWと第2領域502の輪郭との交点D2を求める(S802)。図9は、半直線OWと交点D1、及び半直線OWと交点D2を表す概念図である。半直線OWと交点D1、及び半直線OWと交点D2は、図9に示すような関係となる。
【0046】
画像変形部15は、選択した移動対象頂点Wが、第1領域501内にあるか否かを判定する(S803)。ステップS803における判定がYESの場合、画像変形部15は、「OW’(ベクトル)=拡大倍率R×OW(ベクトル)」となる点W’の位置に、選択した移動対象頂点Wを移動させる(S804)。そして、画像変形部15は、入力画像50のメッシュにおける全ての頂点を選択したか否かを判定する(S807)。例えば、画像変形部15は、移動対象頂点Wとして選択した頂点の頂点IDを記憶部30に記憶させておくことにより、ステップS807における判定を行なってもよい。
【0047】
ステップS807における判定がYESの場合、画像変形部15は、画像の変形が終了したことを提示部16に通知し、処理を終了する。ステップS807における判定がNOの場合、ステップS801に遷移する。
【0048】
ステップS803における判定がNOの場合、画像変形部15は、選択した移動対象頂点Wが、第2領域502内かつ第1領域501外にあるか否かを判定する(S805)。ステップS805における判定がNOの場合、ステップS807に遷移する。ステップS805における判定がYESの場合、「D1’W’:W’D2=D1W:WD2」となる点W’の位置に移動対象頂点Wを移動させる(S806)。ここでD1’とは、拡大倍率Rで拡大した第1領域501の輪郭と、半直線OW’との交点である。そして、ステップS807に遷移する。図8のフローチャートに示した処理により、入力画像50はサムネイル画像60になる。
【0049】
提示部16は、サムネイル画像60を提示する。例えば、提示部16は、サムネイル画像60をレンダリングして表示するディスプレイであってよい。この場合、提示部16は、メッシュの各頂点が持つ色情報を用いて、パッチ内を補間することにより、レンダリングしてよい(非特許文献1参照)。
【0050】
(変形例)
なお、本実施の形態において、入力画像50は、メッシュで表現されるものであるとしたが、ピクセル画像であっても構わない。この場合、第1領域算出部12と、第2領域算出部13と、変形情報算出部14とは、上述のメッシュの頂点を、各ピクセルの中心点として同様の処理を行なえばよい。
【0051】
また、画像変形部15は、記憶部30に記憶された各ピクセルの輝度及び色情報を書き換えることによって画像変形を行なう。すなわち、上述のメッシュの頂点の移動先を決定する方法と同様に、各ピクセルの中央点の移動先を仮に算出する。各ピクセルの中央点の移動先として算出された座標にピクセルの輝度及び色情報を持たせたものを参照点とし、その参照点を補間することで各ピクセルの輝度及び色情報を書き換え、変形後の画像を生成する。
【0052】
(第2の実施の形態)
第2の実施の形態に係る画像処理装置2は、第1領域501をユーザにより指定させるものである。図10は、画像処理装置2の構成を表すブロック図である。画像処理装置10は、画像処理装置1に対して、指定部17をさらに備える。指定部17は、ユーザによる操作により第1領域501を指定する。指定部17とは、例えば、マウスやキーボード、タッチペン等であってよい。
【0053】
以上、上述した実施の形態により、ユーザがコンテンツの内容を認識しやすいサムネイル画像を作成することが可能な画像処理装置、方法、及びプログラムを提供するこができる。
【0054】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0055】
1、2 画像処理装置
5 処理部
11 入力部
12 第1領域算出部
13 第2領域算出部
14 変形情報算出部
15 画像変形部
16 提示部
17 指定部
30 記憶部

【特許請求の範囲】
【請求項1】
処理対象となる画像を入力する入力部と、
前記画像内において、特定の領域である第1領域を算出する第1領域算出部と、
前記画像内において、前記第1領域を取り囲む領域である第2領域を算出する第2領域算出部と、
前記第1領域の形状及び大きさと、前記第2領域の形状及び大きさとに基づいて、前記第2領域内において、前記第1領域に含まれる画像を拡大する際の中心となる拡大中心と、前記第1領域に含まれる画像を拡大する倍率である拡大倍率とを算出する変形情報算出部と、
前記拡大中心と前記拡大倍率とに基づいて、前記第2領域に含まれる画像を歪ませながら、前記第1領域に含まれる画像を拡大する画像変形部とを
備える画像処理装置。
【請求項2】
前記第1領域算出部は、
前記画像内において、輝度の変化の激しさの程度を表す注目度に基づいて、前記第1領域を算出し、
前記第2領域算出部は、
前記画像の輝度変化に応じて、前記第2領域を算出する、
請求項1記載の画像処理装置。
【請求項3】
前記画像は、
位置および輝度で定義される座標空間において、幾何学平面であるパッチの集合であるメッシュにより表現される画像であり、
前記第2領域算出部は、
前記メッシュにおける前記パッチの起伏の変化に応じて、前記第2領域を算出し、
前記画像変形部は、
前記第1領域内における前記メッシュの頂点について、前記拡大中心から前記頂点までの距離を前記拡大倍率だけ拡大した位置に、前記頂点を移動することにより、前記第2領域に含まれる画像を歪ませながら、前記第1領域に含まれる画像を拡大する、
請求項1又は2記載の画像処理装置。
【請求項4】
前記画像は、
位置及び輝度で表わされるピクセル画像であり、
前記画像変形部は、
前記第1領域内におけるピクセルについて、前記拡大中心から前記ピクセルの中心点までの距離を前記拡大倍率だけ拡大した位置にある前記ピクセルの輝度を、拡大前の前記ピクセルの輝度及び前記ピクセルと隣接するピクセルの輝度とに基づいて決定することにより、前記第2領域に含まれる画像を歪ませながら、前記第1領域に含まれる画像を拡大する、
請求項1又は2記載の画像処理装置。
【請求項5】
入力部が、処理対象となる画像を入力し、
第1領域算出部が、前記画像内において、特定の領域である第1領域を算出し、
第2領域算出部が、前記画像内において、前記第1領域を取り囲む領域である第2領域を算出し、
変形情報算出部が、前記第1領域の形状及び大きさと、前記第2領域の形状及び大きさとに基づいて、前記第2領域内において、前記第1領域に含まれる画像を拡大する際の中心となる拡大中心と、前記第1領域に含まれる画像を拡大する倍率である拡大倍率とを算出し、
画像変形部が、前記拡大中心と前記拡大倍率とに基づいて、前記第2領域に含まれる画像を歪ませながら、前記第1領域に含まれる画像を拡大する
画像処理方法。
【請求項6】
画像を処理するためにコンピュータを、
処理対象となる画像を入力する手段と、
前記画像内において、特定の領域である第1領域を算出する手段と、
前記画像内において、前記第1領域を取り囲む領域である第2領域を算出する手段と、
前記第1領域の形状及び大きさと、前記第2領域の形状及び大きさとに基づいて、前記第2領域内において、前記第1領域に含まれる画像を拡大する際の中心となる拡大中心と、前記第1領域に含まれる画像を拡大する倍率である拡大倍率とを算出する手段と、
前記拡大中心と前記拡大倍率とに基づいて、前記第2領域に含まれる画像を歪ませながら、前記第1領域に含まれる画像を拡大する手段と
して機能させるための画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−65202(P2012−65202A)
【公開日】平成24年3月29日(2012.3.29)
【国際特許分類】
【出願番号】特願2010−208556(P2010−208556)
【出願日】平成22年9月16日(2010.9.16)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】