画像処理装置、画像処理方法、およびプログラム
【課題】処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】画像信号が示す画像に対応するフローベクトルに基づいて、画像信号を処理する拡大前画像処理部と、フローベクトルに基づいて、拡大前画像処理部において処理された画像信号が示す画像を拡大する拡大処理部とを備える画像処理装置が提供される。
【解決手段】画像信号が示す画像に対応するフローベクトルに基づいて、画像信号を処理する拡大前画像処理部と、フローベクトルに基づいて、拡大前画像処理部において処理された画像信号が示す画像を拡大する拡大処理部とを備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、処理対象の画像信号が示す画像の各領域に対してフローベクトルを定義し、当該フローベクトルに基づく画像処理を画像信号に対して行う画像処理方法が提案されている。上記のようにフローベクトルに基づく画像処理を画像信号に対して行うことによって、例えば、画像信号が示す画像に対して、あたかも画家が描いたような絵画調の効果（筆触効果）を与えることが可能となる。
【０００３】
フローベクトルに応じた画像処理に係る技術としては、例えば、画像にブラシストローク（フローベクトルに相当する。）を与える特許文献１に記載の技術や、非特許文献１〜３に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００２−５０５７８４号公報
【非特許文献】
【０００５】
【非特許文献１】Henry Kang, Seungyong Lee, Charles K. Chui, "Flow-based Image Abstraction", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, VOL 15, NO. 1, JANUARY/FEBRUARY 2009, p.62-76
【非特許文献２】Jan Eric Kyprianidis, Henry Kang, "Image and Video Abstraction by Cocherence-Enhancing Filtering", EUROGRAPHICS 2011, Volume 30(2011), Number 2
【非特許文献３】Cabral, B. and Leedom, L.C.， "Imaging vector fields using line integral convolution", Proceedings of the 20th annual conference on Computer graphics and interactive techniques, 1993， p.263-270
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば上記特許文献１や上記非特許文献１〜３に記載されているような、フローベクトルに基づく画像処理に係る技術を用いることによって、処理対象の画像信号が示す画像を、あたかも画家が描いたような筆触効果が加えられた画像（以下、「絵画調の画像」と示す場合がある。）に変換することが可能である。ここで、例えば上記のようなフローベクトルに基づく画像処理に係る技術が用いられる場合、処理対象の画像信号が示す画像を絵画調の画像に変換するための処理に要する計算量は多くなる。そのため、例えば上記のようなフローベクトルに基づく画像処理に係る技術が用いられる場合には、画素数が多くなればなる程、処理時間が長くなる。
【０００７】
本開示では、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、画像信号が示す画像に対応するフローベクトルに基づいて、上記画像信号を処理する拡大前画像処理部と、上記フローベクトルに基づいて、上記拡大前画像処理部において処理された画像信号が示す画像を拡大する拡大処理部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、画像信号が示す画像に対応するフローベクトルに基づいて、上記画像信号を処理するステップと、上記フローベクトルに基づいて、上記処理するステップにおいて処理された画像信号が示す画像を拡大するステップと、を有する画像処理方法が提供される。
【００１０】
また、本開示によれば、画像信号が示す画像に対応するフローベクトルに基づいて、上記画像信号を処理するステップ、上記フローベクトルに基づいて、上記処理するステップにおいて処理された画像信号が示す画像を拡大するステップ、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１１】
本開示によれば、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】第１の実施形態に係る画像処理装置における処理の一例を示す流れ図である。
【図３】第１の実施形態に係る画像処理装置が備える検出部の構成の一例を示す説明図である。
【図４】第１の実施形態に係る画像処理装置が備える検出部における処理の一例を示す流れ図である。
【図５】第１の実施形態に係る画像処理装置が備える画像処理部の構成の一例を示す説明図である。
【図６】第１の実施形態に係る画像処理装置が備える画像処理部における処理の一例を示す流れ図である。
【図７】第１の実施形態に係る画像処理装置が備える拡大処理部の構成の一例を示す説明図である。
【図８】第１の実施形態に係る画像処理装置が備える拡大処理部におけるフローベクトルの補間処理の一例を示す説明図である。
【図９】第１の実施形態に係る画像処理装置が備える拡大処理部における処理の一例を示す流れ図である。
【図１０】第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１１】第２の実施形態に係る画像処理装置が備える拡大処理部の構成の一例を示す説明図である。
【図１２】第２の実施形態に係る画像処理装置が備える拡大処理部における処理の一例を示す流れ図である。
【図１３】第２の実施形態に係る画像処理装置における処理の一例を示す流れ図である。
【図１４】第３の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１５】第３の実施形態に係る画像処理装置が備えるフローベクトル更新部における処理の一例を示す流れ図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理御方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム
【００１５】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００１６】
また、以下では、本実施形態に係る画像処理装置が、画像（静止画像または動画像。以下、同様とする。）を示す画像信号を処理するものとして説明する。以下では、本実施形態に係る画像処理装置が処理する画像信号を「入力画像信号」と示し、本実施形態に係る画像処理装置が処理を完了した画像信号を「出力画像信号」と示す場合がある。
【００１７】
ここで、本実施形態に係る入力画像信号としては、例えば、本実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられる。また、本実施形態に係る画像処理装置は、例えば、ネットワークを介して（または直接的に）外部装置から送信された画像信号を受信し、受信した画像信号を入力画像信号として処理することも可能である。また、本実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を、入力画像信号として処理してもよい。さらに、本実施形態に係る画像処理装置が画像を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本実施形態に係る画像処理装置が撮像装置として機能する場合には、本実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像に対応する画像信号を、入力画像信号として処理してもよい。
【００１８】
上述したように、処理対象の画像信号が示す画像を絵画調の画像に変換する技術としては、例えば、上記特許文献１や上記非特許文献１〜３に記載の技術が挙げられる。しかしながら、例えば上記のようなフローベクトルに基づく画像処理に係る技術が用いられる場合には、画素数が多くなればなる程処理に要する計算量もまた多くなることから、画素数が多くなればなる程処理時間が長くなる。そのため、例えば上記のようなフローベクトルに基づく画像処理に係る技術が適用された画像処理装置が用いられる場合には、フローベクトルに基づく画像処理に要する時間が増加することに伴って、当該画像処理装置を用いるユーザの処理待ち時間を増加させてしまう恐れがある。よって、例えば上記のようなフローベクトルに基づく画像処理に係る技術が用いられる場合には、ユーザの利便性の低下へとつながる可能性がある。
【００１９】
また、画像信号に対する処理として、例えば、処理対象の画像信号が示す画像を拡大する処理がしばしば行われる。画像を拡大する技術としては、例えば、特許文献２（特許４１５０９４７号公報）や、非特許文献４（Wing-Shan Tam, Chi-Wah Kok, Wan-Chi Siu, "A MODIFIED EDGE DIRECTED INTERPOLATION FOR IMAGES", 17th European Signal Processing Confernce (EUSIPCO 2009), August 24-28, 2009, p.283-287）、非特許文献５（Xin Li, Micheael T. Orchard, "New Edge-Directed Interpolation", IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL 10, NO. 10, OCTOBER 2001, p1521-1527）に記載の技術が挙げられる。
【００２０】
ここで、フローベクトルに基づく画像処理に要する計算量の増加を抑えつつ、フローベクトルに基づく画像処理が行われたより画素数が多い画像を得るための一の方法としては、例えば、所望の画素数よりも画素数が小さい画像に対してフローベクトルに基づく画像処理を行い、当該フローベクトルに基づく画像処理後に、処理後の画像を拡大する方法が考えられる。上記一の方法が用いられる場合には、画素数が小さい画像に対してフローベクトルに基づく画像処理を行うことによって、フローベクトルに基づく画像処理に要する時間をより短縮することが可能となる。また、フローベクトルに基づく画像処理後の画像に対して、単純な拡大処理ではなく、例えば上記特許文献２や非特許文献４、５に記載されているような画像の拡大係る技術に係る処理を行うことによって、画像に対して単純な拡大処理を行った場合に起こりうる、例えば画像がぼやけるなどの画質の低下を防止することが可能となる。
【００２１】
よって、上記一の方法を用いることによって、フローベクトルに基づく画像処理に要する時間をより短縮しつつ、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる可能性がある。
【００２２】
しかしながら、例えば上記特許文献２や非特許文献４、５に記載されているような、画像の拡大係る技術では、画像における方向成分を検出する方向成分の検出処理が必要である。そのため、上記一の方法を用いる場合には、フローベクトルに基づく画像処理に要する時間を短縮できたとしても、画像における方向成分の検出処理を行うために時間を要することから、処理全体に要する時間がそれ程短縮されない（または増加する）恐れがある。
【００２３】
また、例えば上記特許文献２や非特許文献４、５に記載されているような、画像の拡大係る技術が用いられる場合には、例えば拡大処理を行う画像に含まれるノイズなどの影響によって、画像における方向成分が正しく検出されないことも起こりうる。上記のように画像における方向成分が正しく検出されない場合には、拡大処理において好ましい補間結果が得られない。また、例えば絵画調に変換された画像などのフローベクトルに基づく画像処理が行われた画像に対して、例えば上記のような拡大処理に係る技術が用いられる場合には、例えば、当該フローベクトルに対応する方向成分が検出できないことが起こりうる。よって、例えば上記のような拡大処理に係る技術が用いられる場合には、画質が低下する恐れがある。
【００２４】
上記のように、上記一の方法を用いたとしても、処理時間の短縮や画質の低下の防止を図りつつ、処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができるとは、限らない。
【００２５】
［本実施形態に係る画像処理方法の概要］
そこで、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像に対して、当該画像に対応するフローベクトルに基づく画像処理（拡大前画像処理）を行う。そして、本実施形態に係る画像処理装置は、上記フローベクトルに基づく画像処理に用いたフローベクトルを用いて、フローベクトルに基づく画像処理が行われた画像を、所望の画素数の画像に拡大する（拡大処理）。
【００２６】
ここで、本実施形態に係る処理対象の画像信号が示す画像に対応するフローベクトルとは、例えば、画素ごとや複数の画素からなる領域ごとに、方向が定義されたベクトルである。本実施形態に係るフローベクトルは、例えば、画像信号に基づいて算出されたものであってもよいし、ユーザ操作に基づき設定されたものであってもよい。また、本実施形態に係るフローベクトルとしては、例えば、ノルムが“１”のベクトルが挙げられる。なお、本実施形態に係るフローベクトルが、ノルムが“１”のベクトルに限られないことは、言うまでもない。また、本実施形態に係るフローベクトルは、ベクトルとして表現する代わりに、例えば画像の水平方向とフローベクトルとの間の角度（例えば、左回り方向の角度）で表すことによって、スカラー量で表現されてもよい。
【００２７】
上記のように（１）フローベクトルに基づく画像処理と、（２）拡大処理とを本実施形態に係る画像処理方法に係る処理として行うことによって、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【００２８】
ここで、本実施形態に係る画像処理装置は、（１）の処理（フローベクトルに基づく画像処理）において、（２）の処理（拡大処理）によって得られる所望の画素数の画像よりも画素数が小さな画像に対して、フローベクトルに基づく画像処理を行う。よって、本実施形態に係る画像処理装置は、上記一の方法を用いる場合と同様に、フローベクトルに基づく画像処理に要する計算量をより少なくすることが可能となるので、フローベクトルに基づく画像処理に要する時間をより短縮することができる。
【００２９】
また、本実施形態に係る画像処理装置は、（２）の処理（拡大処理）において、（１）の処理（フローベクトルに基づく画像処理）に用いたフローベクトルを用いて処理を行う。よって、本実施形態に係る画像処理装置は、例えば上記特許文献２や非特許文献４、５に記載されているような拡大処理に係る技術が用いられる場合のように画像における方向成分を新たに検出する必要はないので、当該拡大処理に係る技術が用いられる場合のように画像における方向成分の検出のために処理時間が延びることはない。また、本実施形態に係る画像処理装置は、（１）の処理に用いたフローベクトルを用いて拡大処理を行うので、例えば上記のような拡大処理に係る技術が用いられる場合のように画質が低下する恐れはない。
【００３０】
したがって、本実施形態に係る画像処理装置は、（１）の処理（フローベクトルに基づく画像処理）と（２）の処理（拡大処理）とを行うことによって、処理時間の短縮や画質の低下の防止を図りつつ、処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【００３１】
以下、本実施形態に係る画像処理装置の構成の一例について説明をすると共に、本実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００３２】
（本実施形態に係る画像処理装置）
［１］第１の実施形態に係る画像処理装置
図１は、第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、検出部１０２と、画像処理部１０４（拡大前画像処理部）と、拡大処理部１０６とを備える。
【００３３】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００３４】
ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、検出部１０２、画像処理部１０４、および拡大処理部１０６の役目を果たしてもよい。また、制御部（図示せず）は、例えば、拡大処理部１０６が処理を行った画像信号（出力画像信号）をエンコードして、記憶部（図示せず）に記録する、および／または、当該画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、本実施形態に係る画像処理方法に係る処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【００３５】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００３６】
記憶部（図示せず）は、画像処理装置１００が備える記憶機能であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００３７】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、操作部（図示せず）は、例えばタッチパッドなどのような、ユーザの接触操作による操作位置を検出することが可能な操作位置検出デバイスであってもよい。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００３８】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００３９】
通信部（図示せず）は、画像処理装置１００が備える通信機能であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００４０】
図２は、第１の実施形態に係る画像処理装置１００における処理の一例を示す流れ図である。
【００４１】
画像処理装置１００は、入力画像信号に基づいてフローベクトルを求める（Ｓ１００）。ここで、図１では、検出部１０２が、ステップＳ１００の処理を行う役目を果たす。
【００４２】
ステップＳ１００においてフローベクトルが求まると、画像処理装置１００は、当該フローベクトルを用いて入力画像信号を処理する（Ｓ１０２）。ここで、ステップＳ１０２の処理は、上記（１）の処理（フローベクトルに基づく画像処理）に該当する。また、図１では、画像処理部１０４が、ステップＳ１０２の処理を行う役目を果たす。
【００４３】
ステップＳ１０２の処理が行われると、画像処理装置１００は、ステップＳ１００において求めたフローベクトルを用いて、ステップＳ１０２において処理された画像信号が示す画像を拡大する（Ｓ１０４）。ここで、ステップＳ１０４の処理は、上記（２）の処理（拡大処理）に該当する。また、図１では、拡大処理部１０６が、ステップＳ１０４の処理を行う役目を果たす。
【００４４】
第１の実施形態に係る画像処理装置１００では、例えば図２に示す処理を行うことによって、本実施形態に係る画像処理方法を実現する。なお、第１の実施形態に係る画像処理装置１００における処理は、図２に示す処理に限られない。例えば、フローベクトルが、タッチパッドなどの操作位置検出デバイスやマウスなどの操作入力デバイスを用いたユーザ操作（例えば、なぞり操作など）に基づき設定される場合には、画像処理装置１００は、ステップＳ１００の処理を行わなくてもよい。上記の場合には、画像処理装置１００は、設定されたフローベクトルを用いてステップＳ１０２の処理およびステップＳ１０４の処理を行う。
【００４５】
また、画像処理装置１００は、入力画像信号が示す画像に対応するフローベクトルを示すフローベクトル情報を、サーバなどの外部装置から取得し、取得されたフローベクトル情報が示すフローベクトルを用いてステップＳ１０２の処理およびステップＳ１０４の処理を行うことも可能である。例えば、画像処理装置１００は、入力画像信号に含まれるメタ情報を入力画像信号から取得し、取得されたメタ情報を外部装置へ送信することによって、当該外部装置から入力画像信号が示す画像に対応するフローベクトル情報を取得する。
【００４６】
以下、図１に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００４７】
検出部１０２は、入力画像信号に基づいて、入力画像に対応するフローベクトルを検出する。より具体的には、検出部１０２は、入力画像信号に基づいて、例えば、入力画像信号が示す画像（以下、「入力画像」と示す場合がある。）の画素ごとに方向成分（フローベクトル）を求める。そして、検出部１０２は、求めた画素ごとの方向成分を示すフローベクトル情報を出力する。
【００４８】
〔検出部１０２の構成の一例〕
図３は、第１の実施形態に係る画像処理装置１００が備える検出部１０２の構成の一例を示す説明図である。検出部１０２は、例えば、Ｓｏｂｅｌフィルタ１１０と、方向ベクトル算出部１１２と、平滑化処理部１１４とを備える。
【００４９】
Ｓｏｂｅｌフィルタ１１０は、輝度の勾配をみることが可能なフィルタである。Ｓｏｂｅｌフィルタ１１０は、例えば、入力画像における注目画素を中心とした３×３の画素の画素値に対して、数式１に示す水平方向の係数行列Ｔ１と、数式２に示す垂直方向の係数行列Ｔ２とをそれぞれ乗算する。そして、Ｓｏｂｅｌフィルタ１１０は、乗算した結果を合計した値を、輝度勾配ベクトルｇとして出力する。ここで、図３では、水平方向に対する処理の結果（水平方向の輝度勾配）を“ｄｘ”、垂直方向に対する処理の結果（垂直方向の輝度勾配）を“ｄｙ”と示している。
【００５０】
【数１】
【数２】
【００５１】
なお、図３では、検出部１０２がＳｏｂｅｌフィルタ１１０を備える構成を示しているが、検出部１０２の構成は、上記に限られない。例えば、本実施形態に係る検出部１０２は、Ｓｏｂｅｌフィルタ１１０の代わりに、Ｐｒｅｗｉｔｔフィルタなどの他のフィルタを備えていてもよい。
【００５２】
方向ベクトル算出部１１２は、Ｓｏｂｅｌフィルタ１１０から伝達される輝度勾配ベクトルｇに基づいて、画素ごとに方向ベクトルｔを算出する。ここで、方向ベクトルｔは、例えば、輝度勾配ベクトルｇに直交し、ノルムが１のベクトルである。つまり、方向ベクトルｔは、輝度勾配が最も少ない方向を表す方向ベクトルに該当する。
【００５３】
より具体的には、方向ベクトル算出部１１２は、例えば下記の数式３の演算を行うことによって、方向ベクトルｔを算出する。なお、方向ベクトル算出部１１２における方向ベクトルｔの算出方法は、数式３に示す演算を行うことに限られない。例えば、数式３では正規化が行われている例を示しているが、方向ベクトル算出部１１２は、正規化を行わなくてもよい。
【００５４】
【数３】
【００５５】
平滑化処理部１１４は、例えば、係数算出部１１６と、畳み込み処理部１１８と、正規化処理部１２０とを備え、Ｓｏｂｅｌフィルタ１１０から伝達される出力値ｇと、方向ベクトル算出部１１２から伝達される方向ベクトルｔとに基づいて、ノルムが“１”のフローベクトルを出力する。係数算出部１１６は、画素位置でのフィルタ係数ｗを求める。ここで、係数算出部１１６は、例えば、非特許文献１に記載の「Ｅｄｇｅ Ｔａｎｇｅｎｔ Ｆｌｏｗ」アルゴリズムを用いてフィルタ係数ｗを算出するが、算出方法は、上記に限られない。また、畳み込み処理部１１８は、求められた係数ｗに基づき方向ベクトルｔの平滑化を行い、正規化処理部１２０は、畳み込み処理部１１８において平滑化された値を正規化する。
【００５６】
平滑化処理部１１４が上記のように平滑化を行うことによって、検出部１０２は、より安定した方向ベクトル（フローベクトル）を得ることができる。また、安定したフローベクトルを用いて（１）の処理（フローベクトルに基づく画像処理）を行うことによって、例えば絵画調の画像を得るための筆触の方向が安定するので、入力画像を絵画調の画像に変換する絵画調変換処理の効果をより向上させることが可能となる（画像処理が、絵画調の画像に変換する絵画調変換処理である場合。）
【００５７】
第１の実施形態に係る検出部１０２は、例えば図３に示す構成によって、入力画像信号に基づいて入力画像に対応するフローベクトルを検出する。ここで、図３に示す検出部１０２における一連の処理について、図４を参照して説明する。図４は、第１の実施形態に係る画像処理装置１００が備える検出部１０２における処理の一例を示す流れ図である。
【００５８】
検出部１０２は、入力画像信号に基づいて輝度勾配ベクトルｇを求める（Ｓ２００）。ここで、図３では、Ｓｏｂｅｌフィルタ１１０が、ステップＳ２００の処理を行う役目を果たす。
【００５９】
ステップＳ２００において輝度勾配ベクトルｇが求まると、検出部１０２は、輝度勾配ベクトルｇから方向ベクトルｔを算出する（Ｓ２０２）。ここで、図３では、方向ベクトル算出部１１２が、ステップＳ２０２の処理を行う役目を果たす。
【００６０】
ステップＳ２０２において方向ベクトルｔが算出されると、検出部２０２は、画素位置Ｐにおけるフィルタ係数を求める（Ｓ２０４）。ここで、図３では、係数算出部１１６が、ステップＳ２０４の処理を行う役目を果たす。また、画素位置Ｐは、例えば、特定の画素の位置を原点とする座標で表されてもよい。
【００６１】
ステップＳ２０４において画素位置Ｐにおけるフィルタ係数が求まると、検出部１０２は、画素位置Ｐにおける方向ベクトルｔを平滑化する（Ｓ２０６）。ここで、図３では、畳み込み処理部１１８が、ステップＳ２０６の処理を行う役目を果たす。
【００６２】
ステップＳ２０６において画素位置Ｐにおける方向ベクトルｔが平滑化されると、検出部１０２は、平滑化された方向ベクトルｔを正規化する（Ｓ２０８）。ここで、図３では、正規化処理部１２０が、ステップＳ２０８の処理を行う役目を果たす。また、検出部１０２は、例えば、ステップＳ２０８の処理が行われるごとに正規化された方向ベクトルｔ’（フローベクトル）を出力するが、検出部１０２における処理は、上記に限られない。例えば、検出部１０２は、後述するステップＳ２１０において平滑化が完了したと判定された場合に、各画素位置に対応する正規化された方向ベクトルｔ’（フローベクトル）を出力してもよい。
【００６３】
ステップＳ２０８において平滑化された方向ベクトルｔを正規化すると、検出部１０２は、入力画像に対応する全画素に対応する方向ベクトルｔに対する平滑化が完了したか否かを判定する（Ｓ２１０）。ここで、図３では、例えば平滑化部１１４（例えば、平滑化部１１４が備える処理制御回路（図示せず））が、ステップＳ２１０の処理を行う役目を果たす。検出部１０２は、例えば、全画素の画素位置それぞれに対応する処理完了フラグを保持し、画素位置Ｐにおける方向ベクトルｔに対する平滑化が完了するごとに、当該画素位置Ｐに対応するフラグを完了した状態に更新する。そして、検出部１０２は、例えば、全画素に対応する処理完了フラグが完了した状態を示す場合に、入力画像に対応する全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定する。なお、ステップＳ２１０における判定方法が、上記に限られないことは、言うまでもない。
【００６４】
ステップＳ２１０において全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定されない場合には、検出部１０２は、画素位置Ｐを変更し（Ｓ２１２）、ステップＳ２０４からの処理を繰り返す。
【００６５】
また、ステップＳ２１０において全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定された場合には、検出部１０２は、処理を終了する。
【００６６】
検出部１０２は、例えば図３に示す構成により図４に示す処理を行うことによって、入力画像信号に基づいて入力画像に対応するフローベクトルを検出する。
【００６７】
なお、本実施形態に係る検出部１０２の構成は、図３に示す構成に限られず、また、検出部１０２における処理は、図４に示す処理に限られない。例えば、検出部１０２は、画素ごとではなく複数の画素からなる所定の領域ごとに、フローベクトル（代表値）を検出してもよい。また、検出部１０２は、例えば、上記非特許文献２に記載の「Ｓｍｏｏｔｈｅｄ Ｓｔｒｕｃｔｕｒｅ Ｔｅｎｓｏｒ」を用いて、画素ごとのフローベクトルを検出してもよい。
【００６８】
再度図１を参照して、第１の実施形態に係る画像処理装置１００の構成の一例について説明する。画像処理部１０４は、（１）の処理（フローベクトルに基づく画像処理）を主導的に行う役目を果たし、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルに基づいて、入力画像信号を処理する。
【００６９】
ここで、画像処理部１０４におけるフローベクトルに基づく画像処理としては、入力画像を筆触のある絵画調の画像に変換する絵画調変換処理が挙げられる。より具体的には、画像処理部１０４は、例えば、フローベクトルに基づいて入力画像信号が示す入力画像に対して平滑化を行う画素を特定し、特定された画素に基づいて、入力画像を平滑化する。ここで、画像処理部１０４は、例えば、フローベクトルが示す方向成分に沿ったフィルタ処理（例えば、ローパスフィルタ処理）を行うことによって、入力画像を、筆触のある絵画調の画像に変換するが、画像処理部１０４における処理は、上記に限られない。例えば、画像処理部１０４は、フローベクトルが示す方向成分に直行する方向に対してハイパスフィルタ処理を行って輪郭部を検出し、検出された輪郭部の画素の信号レベルを下げることによって、入力画像を、輪郭線が加えられた絵画調の画像に変換することも可能である。
【００７０】
なお、本実施形態に係る画像処理部１０４におけるフローベクトルに基づく画像処理は、絵画調変換処理に限られない。例えば、画像処理部１０４は、フローベクトルを用いたレンダリング処理など、フローベクトルを用いる画像処理であれば、任意の画像処理を行ってもよい。以下では、画像処理部１０４が絵画調変換処理を行う場合を例に挙げて、画像処理部１０４の構成の一例について説明する。
【００７１】
〔画像処理部１０４の構成の一例〕
図５は、第１の実施形態に係る画像処理装置１００が備える画像処理部１０４の構成の一例を示す説明図である。画像処理部１０４は、例えば、経路決定部１２２と、サンプリング部１２４と、平滑化処理部１２６とを備える。ここで、図５は、例えば非特許文献３に記載の「Ｌｉｎｅ Ｉｎｔｅｇｒａｌ Ｃｏｎｖｏｌｕｔｉｏｎ」アルゴリズムを用いる場合における構成の一例を示している。
【００７２】
経路決定部１２２は、フローベクトルに基づいて処理対象の画素の位置を特定する。より具体的には、経路決定部１２２は、注目画素それぞれにおいて、当該注目画素に対応するフローベクトルに沿った２方向に画素を距離Ｌ分辿る処理を行う。つまり、経路決定部１２２における処理は、処理対象の画素をサンプリングする処理に相当する。そして、経路決定部１２２は、例えば、特定した画素の位置を座標で示すサンプリング座標情報を、サンプリング部１２４へ伝達する。
【００７３】
サンプリング部１２４は、経路決定部１２２から伝達されるサンプリング座標情報に基づいて、サンプリング座標情報が示す座標に対応する画素の画素値を入力画像から抽出する。
【００７４】
平滑化処理部１２６は、例えば、（２×Ｌ＋１）タップのローパスフィルタやガウスフィルタなどのフィルタを備え、サンプリング部１２４において抽出された画素値を平滑化する。そして、平滑化処理部１２６は、入力画像が平滑化された画像を示す画像信号（処理後の画像を示す画像信号。以下、「処理画像信号」と示す場合がある。）を出力する。
【００７５】
ここで、平滑化処理部１２６は、例えば、画素の位置とフィルタ係数とが予め対応付けられた関数やテーブルなどを用いて、平滑化処理部１２６が備えるフィルタのフィルタ係数を決定する。なお、本実施形態に係る平滑化処理部１２６におけるフィルタ係数の決定方法が、上記に限られないことは、言うまでもない。
【００７６】
第１の実施形態に係る画像処理部１０４は、例えば図５に示す構成によって、フローベクトルに基づいて入力画像信号を処理し、入力画像を絵画調の画像に変換する。ここで、図５に示す画像処理部１０４における一連の処理について、図６を参照して説明する。図６は、第１の実施形態に係る画像処理装置１００が備える画像処理部１０４における処理の一例を示す流れ図である。
【００７７】
画像処理部１０４は、処理画素（注目画素）に対応するフローベクトルを用いて、処理画素の位置Ｐにおけるフローの方向Ｄを特定する（Ｓ３００）。ここで、画像処理部１０４は、例えば、座標で表された位置Ｐを用いて処理を行う。
【００７８】
ステップＳ３００において処理画素におけるフローの方向Ｄが特定されると、画像処理部１０４は、初期値を設定する（Ｓ３０２）。ここで、“Ｐｐ”は、フローベクトルにより規定される一の方向の画素の位置を示し、“Ｐｍ”は、フローベクトルにより規定される他の方向の画素の位置を示す。また、“Ｄｐ”は、Ｐｐに対応するフローの方向を示しており、“Ｄｍ”は、Ｐｍに対応するフローの方向を示す。また、“Ｉ（Ｐ）”は、位置Ｐにおける画素値である。
【００７９】
ステップＳ３０２の処理が行われると、画像処理部１０４は、次のサンプリング位置を算出する（Ｓ３０４）。また、次のサンプリング位置が算出されると、画像処理部１０４は、次のサンプリング位置に対応するフィルタ係数Ｆを求める（Ｓ３０６）。ここで、画像処理部１０４は、例えば画素の位置とフィルタ係数とが予め対応付けられた関数やテーブルなどを用いてフィルタ係数Ｆを決定する。
【００８０】
ステップＳ３０６においてフィルタ係数が求まると、画像処理部１０４は、位置Ｐｐに対応する画素値と位置Ｐｍに対応する画素値とにフィルタ係数Ｆを乗じた値を、“Ｓｕｍ”に加算する（Ｓ３０８）。
【００８１】
ステップＳ３０８において“Ｓｕｍ”の値が更新されると、画像処理部１０４は、位置Ｐｐ、位置Ｐｍにおけるフロー方向Ｄｐ’、Ｄｍ’を、対応するフローベクトルに基づき求める（Ｓ３１０）。
【００８２】
ステップＳ３１０においてフロー方向Ｄｐ’、Ｄｍ’が求まると、画像処理部１０４は、フロー方向Ｄｐを更新し（Ｓ３１２）、また、フロー方向Ｄｍを更新する（Ｓ３１４）。ここで、ステップＳ３１２、Ｓ３１４では、画像処理部１０４が、例えば、ＤｐとＤｐ’との内積の値、ＤｍとＤｍ’との内積の値に応じて、フロー方向Ｄｐ、Ｄｍを更新する処理を示している。例えば、検出部１０２において「Ｅｄｇｅ Ｔａｎｇｅｎｔ Ｆｌｏｗ」アルゴリズムが用いられる場合には、ステップＳ３１０において求めたフロー方向Ｄｐ’、Ｄｍ’のみで、次のサンプリング位置を決定することはできない。そのため、画像処理部１０４は、例えばステップＳ３１２、Ｓ３１４に示す処理を行うことによって、フローの整列を行う。なお、フローの整列に係る処理が、ステップＳ３１２、Ｓ３１４に限られないことは、言うまでもない。また、検出部１０２において「Ｅｄｇｅ Ｔａｎｇｅｎｔ Ｆｌｏｗ」アルゴリズムが用いられない場合には、画像処理部１０４は、例えば、ステップＳ３１０において求めたフロー方向Ｄｐ’をフロー方向Ｄｐとして更新し、また、フロー方向Ｄｍ’をフロー方向Ｄｍとして更新してもよい。
【００８３】
ステップＳ３１２、Ｓ３１４の処理が行われると、画像処理部１０４は、フィルタのタップ数分の計算が完了したか否かを判定する（Ｓ３１６）。ステップＳ３１６においてフィルタのタップ数分の計算が完了したと判定されない場合には、画像処理部１０４は、ステップＳ３０４からの処理を繰り返す。
【００８４】
また、ステップＳ３１６においてフィルタのタップ数分の計算が完了したと判定された場合には、画像処理部１０４は、計算値（Ｓｕｍの値）を、出力する画像（処理後の画像）における位置Ｐに記録する（Ｓ３１８）。
【００８５】
ステップＳ３１８の処理が行われると、画像処理部１０４は、入力画像の全画素に対する計算が完了したか否かを判定する（Ｓ３２０）。ステップＳ３２０において入力画像の全画素に対する計算が完了したと判定されない場合には、画像処理部１０４は、注目画素の位置Ｐを変更し（Ｓ３２２）、ステップＳ３００からの処理を繰り返す。また、ステップＳ３２０において入力画像の全画素に対する計算が完了したと判定された場合には、画像処理部１０４は、処理を終了する。
【００８６】
画像処理部１０４は、例えば図５に示す構成により図６に示す処理を行うことによって、フローベクトルに基づいて入力画像信号を処理し、入力画像を絵画調の画像に変換する。
【００８７】
なお、本実施形態に係る画像処理部１０４の構成は、図５に示す構成に限られず、また、画像処理部１０４における処理は、図６に示す処理に限られない。例えば、画像処理部１０４は、上述したように、フローベクトルが示す方向成分に直行する方向に対してハイパスフィルタ処理を行って輪郭部を検出し、検出された輪郭部の画素の信号レベルを下げることによって、入力画像を、輪郭線が加えられた絵画調の画像に変換してもよい。また、画像処理部１０４は、上述したように、例えば、フローベクトルを用いたレンダリング処理など、フローベクトルを用いる画像処理であれば、任意の画像処理を行うことも可能である。
【００８８】
再度図１を参照して、第１の実施形態に係る画像処理装置１００の構成の一例について説明する。拡大処理部１０６は、（２）の処理（拡大処理）を主導的に行う役目を果たし、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルに基づいて、画像処理部１０４において処理された画像信号（処理画像信号）が示す画像を拡大する。
【００８９】
上述したように、単純な拡大処理を行う場合には、例えば画像がぼやけるなどの画質の低下が生じる恐れがある。そこで、拡大処理部１０６は、伝達されるフローベクトル情報が示すフローベクトルが示す方向成分に応じて、画像処理部１０４から伝達される処理画像信号が示す画像を補間することによって、当該画像を画素数がより多い画像に変換する。より具体的には、拡大処理部１０６は、伝達されるフローベクトル情報が示すフローベクトルに基づいて、拡大を行う場合に補間する補間画素の位置に対応するフローベクトルを、補間画素の位置ごとに算出する。そして、拡大処理部１０６は、算出された補間画素の位置それぞれに対応するフローベクトルと、処理画像信号とに基づいて、補間画素それぞれの画素値を得る。上記の処理によって、画質の低下を防止しつつ、処理画像信号が示す画像を、画素数がより多い画像に変換することができる。
【００９０】
〔拡大処理部１０６の構成の一例〕
図７は、第１の実施形態に係る画像処理装置１００が備える拡大処理部１０６の構成の一例を示す説明図である。拡大処理部１０６は、例えば、フロー補間処理部１２８と、補間係数決定部１３０と、画素補間処理部１３２とを備える。
【００９１】
フロー補間処理部１２８は、検出部１０２から伝達されるフローベクトル情報が示すフローベクトルを用いて、補間対象となる画素（以下、「補間画素」と示す場合がある。）の位置におけるフローベクトルを求める。つまり、フロー補間処理部１２８は、検出部１０２から伝達されるフローベクトルを用いて、補間画素に対応するフローベクトルを補間する。そして、フロー補間処理部１２８は、例えば、補間画素の位相を示す情報と、検出部１０２から伝達される各画素に対応するフローベクトルおよび当該補間画素に対応するフローベクトルを示す情報（以下、「補間フローベクトル情報」と示す場合がある。）とを、補間係数決定部１３０に伝達する。
【００９２】
図８は、第１の実施形態に係る画像処理装置１００が備える拡大処理部１０６におけるフローベクトルの補間処理の一例を示す説明図である。図８を参照しつつ、拡大処理部１０６のフロー補間処理部１２８が、フローベクトルの補間処理を行うものとして説明する。
【００９３】
フロー補間処理部１２８は、補間画素の最近傍の画素に対応するフローベクトルを取得する（図８に示すＡ）。ここで、図８では、フロー１が取得される例を示している。
【００９４】
また、フロー補間処理部１２８は、補間画素の周辺のフローベクトル（例えば、図８の例では、フロー２、フロー３、フロー４）を取得し、最近傍のフローベクトルと、周辺の各フローベクトルとの角度差θ（θ＜１８０［°］）を算出する（図８に示すＢ）。このとき、フロー補間処理部１２８は、最近傍のフローベクトルに対応する画素における角度差については、例えば０［°］とおく。
【００９５】
また、フロー補間処理部１２８は、算出した角度差を用いてバイリニア補間処理を行うことによって、補間画素における角度差θ’を算出する（図８に示すＣ）。そして、フロー補間処理部１２８は、最近傍の画素に対応するフローベクトルと基準方向（例えば水平方向など）との角度差に角度差θ’を加算した結果得られるベクトルを、補間画素に対応するフローベクトルとする（図８に示すＤ）。
【００９６】
フロー補間処理部１２８は、例えば図８を参照して説明した上記の処理を行うことによって、補間画素に対応するフローベクトルを補間する。なお、本実施形態に係るフロー補間処理部１２８におけるフローベクトルの補間処理は、上記に限られない。例えば、フロー補間処理部１２８は、最近傍の画素に対応するフローベクトルを、補間画素に対応するフローベクトルとしてもよい。上記のように最近傍の画素に対応するフローベクトルを補間画素に対応するフローベクトルとすることによって、フロー補間処理部１２８は、処理量を低減することができる。
【００９７】
再度図７を参照して、拡大処理部１０６の構成の一例について説明する。補間係数決定部１３０は、補間画素の位相と、補間画素に対応するフローベクトルが示す方向に基づいて、画素の補間に用いるフィルタ係数Ｗ（以下、「補間係数Ｗ」と示す場合もある。）を決定する。
【００９８】
ここで、補間係数決定部１３０は、例えば、位相とフローベクトルとの組み合わせと、フィルタ係数とが対応付けられたテーブルを参照することによって、フィルタ係数Ｗを一意に決定する。上記テーブルは、例えば画像処理装置１００が備えるＲＯＭ（図示せず）などに記憶され、補間係数決定部１３０は、ＲＯＭ（図示せず）などを参照することによって、フィルタ係数Ｗを決定する。補間係数決定部１３０は、処理を行う前に予め上記テーブルを読み込んで読み込んだテーブルを保持していてもよいし、ＲＯＭ（図示せず）などを適宜参照してもよい。なお、補間係数決定部１３０における処理は、上記に限られない。例えば、補間係数決定部１３０は、通信部（図示せず）を介して、上記テーブルを記憶するサーバなどの外部装置と通信を行い、当該外部装置から補間画素の位相と補間画素に対応するフローベクトルとに対応するフィルタ係数Ｗを取得してもよい。
【００９９】
また、本実施形態に係るフィルタ係数Ｗとしては、例えば、フローに直交する方向のボケを抑えて、並行する方向に強く平滑化をかける特性を持った補間係数が挙げられる。上記のような特定のフィルタ係数Ｗが用いられることによって、後述する画素補間処理部１３２において、滑らかで、かつ、ぼやけの少ない補間結果を得ることが可能となる。さらに、並行する方向に強く平滑化をかける特性のフィルタ係数Ｗが用いられることによって、たとえ処理画像信号が示す画像にジャギーが存在する場合であっても、当該ジャギーを軽減することができる。ここで、画像処理部１０４において絵画調変換処理が行われる場合には、エッジ付近に望ましくないジャギーが発生することが起こりうる。上記のようにジャギーが発生したとしても、画素補間処理部１３２は、並行する方向に強く平滑化をかける特性のフィルタ係数Ｗが用いられることによってジャギーを軽減することができるので、より高画質化を図ることができる。
【０１００】
画素補間処理部１３２は、補間画素の周辺の画素の画素値をサンプリングし、補間係数決定部１３０において決定されたフィルタ係数Ｗを用いて畳み込み処理を行うことによって、補間画素の画素値を得る。
【０１０１】
そして、画素補間処理部１３２は、補間がなされて画素数が向上した画像を示す画像信号（以下、「出力画像信号」と示す場合がある。）を出力する。ここで、出力画像信号は、例えば、制御部（図示せず）によりエンコードされて記憶部（図示せず）などに記憶され、および／または、出力画像信号が示す画像は表示部（図示せず）や外部表示装置の表示画面に表示される。
【０１０２】
第１の実施形態に係る拡大処理部１０６は、例えば図７に示す構成によって、フローベクトルに基づいて、画像処理部１０４において処理された処理画像信号が示す画像を拡大する。ここで、図７に示す拡大処理部１０６における一連の処理について、図９を参照して説明する。図９は、第１の実施形態に係る画像処理装置１００が備える拡大処理部１０６における処理の一例を示す流れ図である。
【０１０３】
拡大処理部１０６は、補間係数のテーブル（例えば、位相とフローベクトルとの組み合わせと、フィルタ係数とが対応付けられたテーブル）を読み込む（Ｓ４００）。なお、拡大処理部１０６が、例えば、補間係数のテーブルを適宜参照する構成の場合には、ステップＳ４００の処理は行われなくてもよい。
【０１０４】
また、拡大処理部１０６は、補間画素の位置である補間位置Ｐに対応するフローベクトルを算出する（Ｓ４０２）。ここで、拡大処理部１０６は、例えば、図８に示す処理を行うことによって、補間位置Ｐに対応するフローベクトルを算出する。
【０１０５】
ステップＳ４０２において補間位置Ｐに対応するフローベクトルが算出されると、拡大処理部１０６は、補間位置Ｐの位相とフローベクトルの方向に基づいて、補間係数Ｗを決定する（Ｓ４０４）。ここで、拡大処理部１０６は、例えば、ステップＳ４００において読み込んだテーブルを用いて、補間係数Ｗを決定する。
【０１０６】
ステップＳ４０４において補間係数Ｗが決定されると、拡大処理部１０６は、補間位置Ｐの周辺の画素に、補間係数Ｗをフィルタ係数とするフィルタを畳み込むことによって、補間画素の画素値を得る（Ｓ４０６）。そして、拡大処理部１０６は、補間画素を出力する（Ｓ４０８）。なお、拡大処理部１０６は、例えば、後述するステップＳ４１０において、出力画像信号に対応する画像（以下、「出力画像」と示す場合がある。）に対応する全画素に対する計算が完了したと判定された場合に、各補間画素、および処理画像信号に対応する画素それぞれを出力してもよい。
【０１０７】
ステップＳ４０６、Ｓ４０８の処理が行われると、拡大処理部１０６は、出力画像に対応する全画素に対する計算が完了したか否かを判定する（Ｓ４１０）。ステップＳ４１０において出力画像に対応する全画素に対する計算が完了したと判定されない場合には、拡大処理部１０６は、補間位置Ｐを変更して（Ｓ４１２）、ステップＳ４０２からの処理を繰り返す。また、ステップＳ４１０において出力画像に対応する全画素に対する計算が完了したと判定された場合には、拡大処理部１０６は、処理を終了する。
【０１０８】
拡大処理部１０６は、例えば図７に示す構成により図９に示す処理を行うことによって、フローベクトルに基づいて、画像処理部１０４において処理された処理画像信号が示す画像を拡大する。なお、本実施形態に係る拡大処理部１０６の構成が、図７に示す構成に限られず、また、拡大処理部１０６における処理が、図９に示す処理に限られないことは、言うまでもない。
【０１０９】
第１の実施形態に係る画像処理装置１００は、例えば図１に示す構成によって、本実施形態に係る画像処理方法に係る（１）の処理（フローベクトルに基づく画像処理）と（２）の処理（拡大処理）とを行うことによって、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換する。
【０１１０】
ここで、図１に示す画像処理装置１００は、単一のフローベクトルを用いて、絵画調変換処理（本実施形態に係る画像処理の一例）と、補間処理（拡大処理）とを行うので、方向成分の計算に要する処理時間を節約することができる。また、共通のフローベクトルを用いることによって、絵画調変換処理において用いるフィルタの方向特性と、補間処理において用いるフィルタの方向特性とが揃う。よって、画像処理装置１００では、補間処理において望ましい方向成分が得られた上で処理が行われるので、不適切な方向成分で補間がなされることによる画質の低下を防止することができる。
【０１１１】
したがって、第１の実施形態に係る画像処理装置は、処理時間の短縮や画質の低下の防止を図りつつ、処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１１２】
〔第１の実施形態に係る画像処理装置１００の構成の変形例〕
なお、第１の実施形態に係る画像処理装置１００の構成は、図１に示す構成に限られない。例えば、図１では、画像処理装置１００が検出部１０２を備え、検出部１０２が入力画像信号から検出したフローベクトルを用いて処理を行う構成を示したが、第１の実施形態に係る画像処理装置１００は、検出部１０２を備えていなくてもよい。例えば、フローベクトルが、タッチパッドなどの操作位置検出デバイスやマウスなどの操作入力デバイスを用いたユーザ操作に基づき設定される場合には、画像処理装置１００は、操作位置検出デバイスなどから伝達される、ユーザ操作に基づき設定されたフローベクトルを用いて処理を行ってもよい。上記のようにユーザ操作に基づき設定されたフローベクトルを用いて処理を行う場合であっても、第１の実施形態に係る画像処理装置１００は、図１に示す画像処理装置１００と同様の利点を有する。
【０１１３】
また、第１の実施形態に係る画像処理装置１００は、入力画像信号が示す画像に対応するフローベクトルを示すフローベクトル情報を、サーバなどの外部装置から取得し、取得されたフローベクトル情報が示すフローベクトルを用いて処理を行ってもよい。例えば、画像処理装置１００は、入力画像信号に含まれるメタ情報を入力画像信号から取得し、取得されたメタ情報を外部装置へ送信することによって、当該外部装置から入力画像信号が示す画像に対応するフローベクトル情報を取得する。上記のように外部装置から取得したフローベクトル情報が示す、入力画像信号が示す画像に対応するフローベクトルを用いて処理を行う場合であっても、第１の実施形態に係る画像処理装置１００は、図１に示す画像処理装置１００と同様の利点を有する。
【０１１４】
また、第１の実施形態に係る画像処理装置１００は、例えば、図１に示す構成に加え、動画像を撮像する撮像部（図示せず）をさらに備えていてもよい。上記の構成の場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された入力画像信号を処理することが可能である。
【０１１５】
ここで、本実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【０１１６】
［２］第２の実施形態に係る画像処理装置
本実施形態に係る画像処理装置の構成は、上述した第１の実施形態に係る画像処理装置１００の構成に限られない。例えば、本実施形態に係る画像処理装置は、複数の絵画調変換処理を併用する場合など、複数の画像処理を行うことも可能である。そこで、次に、複数の画像処理を行う場合に対応する、第２の実施形態に係る画像処理装置２００の構成の一例について説明する。
【０１１７】
例えば、複数の絵画調変換処理を併用するときには、それぞれの処理において処理に最適な画像サイズが異なる場合がある。上記のように、処理に最適な画像サイズが異なる場合には、例えば、（２）の処理（拡大処理）を行って好適な画像サイズに変換した後に、各絵画調変換処理を行えばよい。しかしながら、例えば、図１に示す画像処理装置１００の拡大処理部１０６から出力される出力画像信号に対して、さらに絵画調変換処理を行う場合には、拡大後の画像に対応する各画素に対応するフローベクトルを検出しなおす必要があるため、処理時間が増大する恐れがある。
【０１１８】
そこで、第２の実施形態に係る画像処理装置２００では、（２）の処理（拡大処理）を行う際に補間により再サンプルしたフローベクトル（例えば、フロー補間処理部１２８から出力される補間フローベクトル情報が示すフローベクトル）を、拡大後の画像に対応するフローベクトルとする。
【０１１９】
ここで、図７を参照して説明したように、（２）の処理（拡大処理）を行う役目を果たす拡大処理部１０６では、例えば、補間画素に対応するフローベクトルを算出して、補間画素を補間することによって、処理対象の画像を拡大する。つまり、本実施形態に係る画像処理装置では、（２）の処理（拡大処理）を行う際に補間により再サンプルしたフローベクトルは、拡大後の画像に対応するものである。よって、第２の実施形態に係る画像処理装置２００が、既に計算されている拡大後の画像に対応するフローベクトルを用いて拡大後の画像に対する画像処理を行えば、拡大後の画像に対応する各画素に対応するフローベクトルを検出しなおす必要はない。
【０１２０】
したがって、第２の実施形態に係る画像処理装置２００は、処理時間の短縮を図りつつ、複数の画像処理を行うことができる。以下、第２の実施形態に係る画像処理装置２００の構成の一例について説明する。
【０１２１】
図１０は、第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。画像処理装置２００は、検出部１０２と、画像処理部１０４（拡大前画像処理部）と、拡大処理部２０４と、画像処理部２０４（拡大後画像処理部）とを備える。
【０１２２】
図１０に示す第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有するが、図１に示す第１の実施形態に係る画像処理装置１００と比較すると、第２の実施形態に係る画像処理装置２００は、画像処理部２０４をさらに備えている。また、第２の実施形態に係る画像処理装置２００では、拡大処理部２０２が有する機能が、第１の実施形態に係る拡大処理部１０６と異なる。
【０１２３】
拡大処理部２０２は、第１の実施形態に係る拡大処理部１０６と基本的に同様の構成、機能を有するが、補間フローベクトル情報を画像処理部２０４へ伝達する点が、第１の実施形態に係る拡大処理部１０６と異なる。
【０１２４】
〔拡大処理部２０２の構成の一例〕
図１１は、第２の実施形態に係る画像処理装置２００が備える拡大処理部２０２の構成の一例を示す説明図である。図１１に示すように、拡大処理部２０２は、例えば、図７に示す拡大処理部１０６と同様の機能、構成を有する、フロー補間処理部１２８と、補間係数決定部１３０と、画素補間処理部１３２とを備える。また、図１１と図７とを比較すると、拡大処理部２０２では、フロー補間処理部１２８から出力される補間フローベクトル情報が拡大処理部２０２の外部へと出力される点が、第１の実施形態に係る拡大処理部１０６と異なる。
【０１２５】
図１２は、第２の実施形態に係る画像処理装置２００が備える拡大処理部２０２における処理の一例を示す流れ図である。
【０１２６】
拡大処理部２０２は、図９に示すステップＳ４００と同様に、補間係数のテーブル（例えば、位相とフローベクトルとの組み合わせと、フィルタ係数とが対応付けられたテーブル）を読み込む（Ｓ５００）。なお、拡大処理部２０２が、例えば、補間係数のテーブルを適宜参照する構成の場合には、ステップＳ５００の処理は行われなくてもよい。
【０１２７】
また、拡大処理部２０２は、図９に示すステップＳ４０２と同様に、補間画素の位置である補間位置Ｐに対応するフローベクトルを算出する（Ｓ５０２）。そして、拡大処理部２０２は、算出された補間位置Ｐに対応するフローベクトルを出力する（Ｓ５０４）。なお、拡大処理部２０２は、例えば、後述するステップＳ５１２において、出力画像に対応する全画素に対する計算が完了したと判定された場合に、例えば検出部１０２から伝達されたフローベクトル情報が示すフローベクトルと、各補間画素に対応するフローベクトルとを出力してもよい。また、ステップＳ５０４の処理は、例えば、拡大処理部２０２の後段において、絵画調処理などの画像処理や、他の拡大処理が行われない場合には、行われなくてもよい。
【０１２８】
ステップＳ５０２において補間位置Ｐに対応するフローベクトルが算出されると、拡大処理部２０２は、図９に示すステップＳ４０４と同様に、補間位置Ｐの位相とフローベクトルの方向に基づいて、補間係数Ｗを決定する（Ｓ５０６）。
【０１２９】
ステップＳ５０６において補間係数Ｗが決定されると、拡大処理部２０２は、図９に示すステップＳ４０６と同様に、補間位置Ｐの周辺の画素に、補間係数Ｗをフィルタ係数とするフィルタを畳み込むことによって、補間画素の画素値を得る（Ｓ５０８）。そして、拡大処理部２０２は、補間画素を出力する（Ｓ５１０）。なお、拡大処理部２０２は、例えば、後述するステップＳ５１２において、出力画像に対応する全画素に対する計算が完了したと判定された場合に、各補間画素、および処理画像信号に対応する画素それぞれを出力してもよい。
【０１３０】
ステップＳ５０８、Ｓ５１０の処理が行われると、拡大処理部２０２は、出力画像に対応する全画素に対する計算が完了したか否かを判定する（Ｓ５１２）。ステップＳ５１２において出力画像に対応する全画素に対する計算が完了したと判定されない場合には、拡大処理部２０２は、補間位置Ｐを変更して（Ｓ５１４）、ステップＳ５０２からの処理を繰り返す。また、ステップＳ５１２において出力画像に対応する全画素に対する計算が完了したと判定された場合には、拡大処理部２０２は、処理を終了する。
【０１３１】
拡大処理部２０２は、例えば図１１に示す構成により図１２に示す処理を行うことによって、フローベクトルに基づいて、画像処理部１０４において処理された処理画像信号が示す画像を拡大する。なお、本実施形態に係る拡大処理部２０２の構成が、図１１に示す構成に限られず、また、拡大処理部２０２における処理は、図１２に示す処理に限られないことは、言うまでもない。
【０１３２】
再度図１０を参照して、第２の実施形態に係る画像処理装置２００の構成の一例について説明する。画像処理部２０４は、拡大処理部２０２から伝達される補間フローベクトル情報（入力画像に対応するフローベクトルと、補間画素の位置それぞれに対応するフローベクトルとを示す情報）とに基づいて、拡大処理部２０２から伝達される拡大された画像を示す画像信号を処理する。
【０１３３】
ここで、画像処理部２０４におけるフローベクトルに基づく画像処理としては、例えば絵画調変換処理が挙げられるが、画像処理部２０４におけるフローベクトルに基づく画像処理は、絵画調変換処理に限られない。例えば、画像処理部２０４は、フローベクトルを用いたレンダリング処理など、フローベクトルを用いる画像処理であれば、任意の画像処理を行うことが可能である。
【０１３４】
第２の実施形態に係る画像処理装置２００は、例えば図１０に示す構成によって、複数の画像処理を行う。ここで、図１０に示す画像処理装置２００における一連の処理について、図１３を参照して説明する。図１３は、第２の実施形態に係る画像処理装置２００における処理の一例を示す流れ図である。
【０１３５】
画像処理装置２００は、図２に示すステップＳ１００と同様に、入力画像信号に基づいてフローベクトルを求める（Ｓ６００）。
【０１３６】
ステップＳ６００においてフローベクトルが求まると、画像処理装置２００は、図２に示すステップＳ１０２と同様に、当該フローベクトルを用いて入力画像信号を処理する（Ｓ６０２）。
【０１３７】
ステップＳ６０２の処理が行われると、画像処理装置２００は、現画像サイズにおける画像処理が全て完了したか否かを判定する（Ｓ６０４）。ここで、画像処理装置２００は、例えば、入力画像に対応する全画素に対する処理が完了した場合に、現画像サイズにおける画像処理が全て完了したと判定する。
【０１３８】
ステップＳ６０４において現画像サイズにおける画像処理が全て完了したと判定されない場合には、画像処理装置２００は、ステップＳ６０２からの処理を繰り返す。
【０１３９】
また、ステップＳ６０４において現画像サイズにおける画像処理が全て完了したと判定された場合には、画像処理装置２００は、図２に示すステップＳ１０４と同様に、ステップＳ６００において求めたフローベクトルを用いて、ステップＳ６０２において処理された画像信号が示す画像を拡大する（Ｓ６０６）。
【０１４０】
ステップＳ６０６の処理が行われると、画像処理装置２００は、全てのフローベクトルに基づく画像処理が完了したか否かを判定する（Ｓ６０８）。ステップＳ６０８において全てのフローベクトルに基づく画像処理が完了したと判定されない場合には、画像処理装置２００は、ステップＳ６０２からの処理を繰り返す。なお、再度ステップＳ６０２の処理を行う場合には、画像処理装置２００は、拡大後の画像に対応するフローベクトルを用いる。また、ステップＳ６０８において全てのフローベクトルに基づく画像処理が完了したと判定された場合には、画像処理装置２００は、処理を終了する。
【０１４１】
第２の実施形態に係る画像処理装置２００では、例えば図１３に示す処理を行うことによって、本実施形態に係る画像処理方法を実現する。なお、第２の実施形態に係る画像処理装置２００における処理は、図１３に示す処理に限られない。例えば、フローベクトルがユーザ操作に基づき設定される場合には、画像処理装置２００は、ステップＳ６００の処理を行わなくてもよい。上記の場合には、画像処理装置２００は、設定されたフローベクトルを用いてステップＳ６０２以降の処理を行う。また、画像処理装置２００は、サーバなどの外部装置から取得されたフローベクトル情報が示すフローベクトルを用いてステップＳ６０２以降の処理を行うことも可能である。
【０１４２】
第２の実施形態に係る画像処理装置２００は、例えば図１０に示すように、図１に示す第１の実施形態に係る画像処理装置１００と同様の構成を有する。よって、画像処理装置２００は、本実施形態に係る画像処理方法に係る（１）の処理（フローベクトルに基づく画像処理）と（２）の処理（拡大処理）とを行うことによって、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１４３】
また、画像処理装置２００は、拡大処理部２０２において（２）の処理（拡大処理）を行う際に補間により再サンプルしたフローベクトルを、拡大後の画像に対応するフローベクトルとする。上記によって、画像処理装置２００は、拡大後の画像に対応したフローベクトルを再度の検出処理を行うことなく得ることができ、また、当該拡大後の画像に対応したフローベクトルを以降の画像処理に用いることが可能となる。
【０１４４】
したがって、第２の実施形態に係る画像処理装置２００は、処理時間の短縮を図りつつ、複数の画像処理を行うことができる。
【０１４５】
〔第２の実施形態に係る画像処理装置２００の構成の変形例〕
なお、第２の実施形態に係る画像処理装置２００の構成は、図１０に示す構成に限られない。例えば、図１０では、拡大処理部２０２の後段に１つの画像処理部（画像処理部２０４）を備える構成を示しているが、第２の実施形態に係る画像処理装置２００は、拡大処理部２０２の後段に複数の画像処理部を備えていてもよい。上記の構成であっても、拡大処理部２０２の後段に設けられる各画像処理部は、拡大処理部２０２において補間により再サンプルしたフローベクトルを拡大後の画像に対応するフローベクトルとして処理を行うことが可能である。よって、上記の構成であっても、第２の実施形態に係る画像処理装置２００は、図１０に示す画像処理装置２００と同様の利点を有する。
【０１４６】
また、第２の実施形態に係る画像処理装置２００は、複数の画像処理部に加え、（２）の処理（拡大処理）を行う他の拡大処理部を、さらに拡大処理部２０２の後段に備えていてもよい。上記の構成では、他の拡大処理部の後段に備えられる画像処理部は、当該他の拡大処理部において補間により再サンプルしたフローベクトルを拡大後の画像に対応するフローベクトルとして処理を行うことが可能である。したがって、上記の構成をとる場合には、第２の実施形態に係る画像処理装置２００は、任意の数の処理解像度で、任意の数のフローベクトルに基づく画像処理（例えば、絵画調変換処理）を行うことができる。
【０１４７】
さらに、第２の実施形態に係る画像処理装置２００は、例えば、上述した第１の実施形態に係る画像処理装置１００と同様の変形例をとることができる。
【０１４８】
［３］第３の実施形態に係る画像処理装置
本実施形態に係る画像処理装置の構成は、上述した第１の実施形態に係る画像処理装置１００、および第２の実施形態に係る画像処理装置２００の構成に限られない。そこで、次に、第３の実施形態に係る画像処理装置２００の構成の一例について説明する。
【０１４９】
（１）の処理（フローベクトルに基づく画像処理）を行うときにおいて、例えば、ユーザ操作に基づくレンダリング処理（フローベクトルに対応しない画像処理の一例）が行われた場合には、処理後の画像がフローベクトルと対応しなくなる恐れがある。上記処理後の画像がフローベクトルと対応しなくなる恐れは、例えば、筆触パターンをレンダリングすることにより絵画調変換処理を行うときに（絵画調変換処理の一例）、筆触パターンが対象の領域をはみ出すなどの過度の処理が行われてしまった場合にも起こりうる。上記のように処理後の画像が、フローベクトルと対応しなくなった場合には、（２）の処理（拡大処理）における補間画素の補間において望ましくない補間が行われ、その結果、画質の低下が生じうる。
【０１５０】
そこで、第３の実施形態に係る画像処理装置３００では、（１）の処理（フローベクトルに基づく画像処理）の処理結果に応じて、フローベクトルを更新することによって、処理後の画像とフローベクトルとの対応付けを行うことによって、上記画質の低下を防止する。以下、第３の実施形態に係る画像処理装置３００の構成の一例について説明する。
【０１５１】
図１４は、第３の実施形態に係る画像処理装置３００の構成の一例を示すブロック図である。画像処理装置３００は、検出部１０２と、画像処理部３０２（拡大前画像処理部）と、フローベクトル更新部３０４と、拡大処理部１０６とを備える。
【０１５２】
図１４に示す第３の実施形態に係る画像処理装置３００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有するが、図１に示す第１の実施形態に係る画像処理装置１００と比較すると、第３の実施形態に係る画像処理装置３００は、フローベクトル更新部３０４をさらに備えている。また、第３の実施形態に係る画像処理装置３００では、画像処理部３０２が有する機能が、第１の実施形態に係る画像処理部１０４と異なる。
【０１５３】
画像処理部３０２は、第１の実施形態に係る画像処理部１０４と基本的に同様の構成、機能を有するが、処理の内容を示す処理情報をフローベクトル更新部３０４へ伝達する点が、第１の実施形態に係る画像処理部１０４と異なる。ここで、本実施形態に係る処理情報としては、例えば、レンダリングを行った領域を示す情報（例えば、矩形の領域の場合には、四隅の座標を示す。）と、レンダリングを行った場合における処理方向（例えば、筆触方向など）を示す情報とが挙げられる。
【０１５４】
画像処理部３０２は、例えば、フローベクトルに応じてレンダリングを行ったか否かによらず、レンダリングを行った全ての領域に対応する処理情報を、フローベクトル更新部３０４へ伝達するが、画像処理部３０２における処理は、上記に限られない。例えば、画像処理部３０２は、ユーザ操作に基づいてレンダリングが行われた領域に対応する処理情報、すなわち、フローベクトルに対応しない画像処理が行われた領域に対応する処理情報を、フローベクトル更新部３０４へ伝達してもよい。
【０１５５】
フローベクトル更新部３０４は、画像処理部３０２から伝達される処理情報に基づいて、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルを更新する。そして、フローベクトル更新部３０４は、処理情報に基づいて選択的に更新されたフローベクトルを示す更新フローベクトル情報を、拡大処理部１０６へ伝達する。
【０１５６】
図１５は、第３の実施形態に係る画像処理装置３００が備えるフローベクトル更新部３０４における処理の一例を示す流れ図である。
【０１５７】
フローベクトル更新部３０４は、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルを、出力メモリに読み込む（Ｓ７００）。
【０１５８】
フローベクトル更新部３０４は、画像処理部３０２から伝達される処理情報に基づいて、レンダリング領域の形状と、処理方向（例えば、筆触におけるストローク方向）とを特定する（Ｓ７０２）。
【０１５９】
ステップＳ７０２の処理が行われると、フローベクトル更新部３０４は、特定したレンダリング領域に対応するフローベクトルを、特定した処理方向に更新する（Ｓ７０４）。
【０１６０】
ステップＳ７０４の処理が行われると、フローベクトル更新部３０４は、伝達された処理情報が示す全てのレンダリング領域に対する処理が完了したか否かを判定する（Ｓ７０６）。ステップＳ７０６において全てのレンダリング領域に対する処理が完了したと判定されない場合には、フローベクトル更新部３０４は、ステップＳ７０２からの処理を繰り返す。
【０１６１】
また、ステップＳ７０６において全てのレンダリング領域に対する処理が完了したと判定された場合には、フローベクトル更新部３０４は、更新フローベクトル情報を出力し（Ｓ７０８）、処理を終了する。
【０１６２】
フローベクトル更新部３０４は、例えば図１５に示す処理を行うことによって、画像処理部３０２から伝達される処理情報に基づいて、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルを更新する。なお、本実施形態に係るフローベクトル更新部３０４における処理が、図１５に示す処理に限られないことは、言うまでもない。
【０１６３】
第３の実施形態に係る画像処理装置３００は、例えば図１４に示すように、図１に示す第１の実施形態に係る画像処理装置１００と同様の構成を有する。よって、画像処理装置３００は、本実施形態に係る画像処理方法に係る（１）の処理（フローベクトルに基づく画像処理）と（２）の処理（拡大処理）とを行うことによって、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１６４】
また、画像処理装置３００は、（１）の処理（フローベクトルに基づく画像処理）の処理を行う画像処理部３０２から伝達される処理情報に基づいて、例えば検出部１０２から伝達されるフローベクトルを更新する。したがって、画像処理装置３００は、処理後の画像とフローベクトルとの対応付けを行うことが可能となるので、処理後の画像とフローベクトルとが対応しなくなくなることにより生じうる画質の低下を防止することができる。
【０１６５】
〔第３の実施形態に係る画像処理装置３００の構成の変形例〕
なお、第３の実施形態に係る画像処理装置３００の構成は、図１０に示す構成に限られない。例えば、第３の実施形態に係る画像処理装置３００は、上述した第１の実施形態に係る画像処理装置１００と同様の変形例をとることができる。
【０１６６】
また、第３の実施形態に係る画像処理装置３００は、上述した第２の実施形態に係る画像処理装置２００（変形例も含む。）と同様に、フローベクトルに基づく画像処理を複数行う構成をとることも可能である。上記の構成をとる場合、第３の実施形態に係る画像処理装置３００は、例えば、各画像処理部の後段に、各画像処理部から伝達される処理情報に基づきフローベクトルを更新するフローベクトル更新部を備える。
【０１６７】
以上のように、本実施形態に係る画像処理装置は、（１）の処理（フローベクトルに基づく画像処理）と、（２）の処理（拡大処理）とを行う。ここで、本実施形態に係る画像処理装置は、（１）の処理（フローベクトルに基づく画像処理）において、（２）の処理（拡大処理）によって得られる所望の画素数の画像よりも画素数が小さな画像に対して、フローベクトルに基づく画像処理を行う。よって、本実施形態に係る画像処理装置は、フローベクトルに基づく画像処理に要する計算量をより少なくすることが可能となるので、フローベクトルに基づく画像処理に要する時間をより短縮することができる。
【０１６８】
また、本実施形態に係る画像処理装置は、（２）の処理（拡大処理）において、（１）の処理（フローベクトルに基づく画像処理）に用いたフローベクトルを用いて処理を行う。よって、本実施形態に係る画像処理装置は、例えば上記特許文献２や非特許文献４、５に記載されているような拡大処理に係る技術が用いられる場合のように画像における方向成分を新たに検出する必要はないので、当該拡大処理に係る技術が用いられる場合のように画像における方向成分の検出のために処理時間が延びることはない。また、本実施形態に係る画像処理装置は、（１）の処理に用いたフローベクトルを用いて拡大処理を行うので、上記のような拡大処理に係る技術が用いられる場合のように画質が低下する恐れはない。
【０１６９】
したがって、本実施形態に係る画像処理装置は、処理時間の短縮や画質の低下の防止を図りつつ、処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１７０】
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣ（Personal Computer）やタブレット端末などのコンピュータ、携帯電話などの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、テレビ受像機などの表示装置など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１７１】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（１）の処理（フローベクトルに基づく画像処理）および上記（２）の処理（拡大処理）など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１７２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７３】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【０１７４】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理する拡大前画像処理部と、
前記フローベクトルに基づいて、前記拡大前画像処理部において処理された画像信号が示す画像を拡大する拡大処理部と、
を備える、画像処理装置。
（２）
前記画像信号に基づいて、前記画像に対応するフローベクトルを検出する検出部をさらに備える、（１）に記載の画像処理装置。
（３）
前記画像に対応するフローベクトルは、ユーザ操作に基づき設定される、請求項１に記載の画像処理装置。
（４）
前記拡大処理部は、
前記フローベクトルに基づいて、拡大を行う場合に補間する補間画素の位置に対応するフローベクトルを、補間画素の位置ごとに算出し、
算出された補間画素の位置それぞれに対応するフローベクトルと、処理された前記画像信号とに基づいて、補間画素それぞれの画素値を得る、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記拡大処理部から伝達される、前記画像に対応するフローベクトルと算出された補間画素の位置それぞれに対応するフローベクトルとに基づいて、拡大された画像を示す画像信号を処理する拡大後画像処理部をさらに備える、（４）に記載の画像処理装置。
（６）
前記拡大前画像処理部における処理の内容を示す処理情報に基づいて、前記画像に対応するフローベクトルを更新するフローベクトル更新部をさらに備え、
前記拡大処理部は、更新されたフローベクトルに基づいて、処理された前記画像信号が示す画像を拡大する、（１）〜（５）のいずれか１つに記載の画像処理装置。
（７）
前記拡大前画像処理部は、
前記フローベクトルに基づいて、前記画像信号が示す画像に対して平滑化を行う画素を特定し、
特定された画素に基づいて、前記画像信号が示す画像を平滑化する、（１）〜（６）のいずれか１つに記載の画像処理装置。
（８）
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理するステップと、
前記フローベクトルに基づいて、前記処理するステップにおいて処理された画像信号が示す画像を拡大するステップと、
を有する、画像処理方法。
（９）
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理するステップ、
前記フローベクトルに基づいて、前記処理するステップにおいて処理された画像信号が示す画像を拡大するステップ、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１７６】
１００、２００、３００ 画像処理装置
１０２ 検出部
１０４、２０４、３０２ 画像処理部
１０６、２０２ 拡大処理部
３０４ フローベクトル更新部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、処理対象の画像信号が示す画像の各領域に対してフローベクトルを定義し、当該フローベクトルに基づく画像処理を画像信号に対して行う画像処理方法が提案されている。上記のようにフローベクトルに基づく画像処理を画像信号に対して行うことによって、例えば、画像信号が示す画像に対して、あたかも画家が描いたような絵画調の効果（筆触効果）を与えることが可能となる。
【０００３】
フローベクトルに応じた画像処理に係る技術としては、例えば、画像にブラシストローク（フローベクトルに相当する。）を与える特許文献１に記載の技術や、非特許文献１〜３に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００２−５０５７８４号公報
【非特許文献】
【０００５】
【非特許文献１】Henry Kang, Seungyong Lee, Charles K. Chui, "Flow-based Image Abstraction", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, VOL 15, NO. 1, JANUARY/FEBRUARY 2009, p.62-76
【非特許文献２】Jan Eric Kyprianidis, Henry Kang, "Image and Video Abstraction by Cocherence-Enhancing Filtering", EUROGRAPHICS 2011, Volume 30(2011), Number 2
【非特許文献３】Cabral, B. and Leedom, L.C.， "Imaging vector fields using line integral convolution", Proceedings of the 20th annual conference on Computer graphics and interactive techniques, 1993， p.263-270
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば上記特許文献１や上記非特許文献１〜３に記載されているような、フローベクトルに基づく画像処理に係る技術を用いることによって、処理対象の画像信号が示す画像を、あたかも画家が描いたような筆触効果が加えられた画像（以下、「絵画調の画像」と示す場合がある。）に変換することが可能である。ここで、例えば上記のようなフローベクトルに基づく画像処理に係る技術が用いられる場合、処理対象の画像信号が示す画像を絵画調の画像に変換するための処理に要する計算量は多くなる。そのため、例えば上記のようなフローベクトルに基づく画像処理に係る技術が用いられる場合には、画素数が多くなればなる程、処理時間が長くなる。
【０００７】
本開示では、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、画像信号が示す画像に対応するフローベクトルに基づいて、上記画像信号を処理する拡大前画像処理部と、上記フローベクトルに基づいて、上記拡大前画像処理部において処理された画像信号が示す画像を拡大する拡大処理部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、画像信号が示す画像に対応するフローベクトルに基づいて、上記画像信号を処理するステップと、上記フローベクトルに基づいて、上記処理するステップにおいて処理された画像信号が示す画像を拡大するステップと、を有する画像処理方法が提供される。
【００１０】
また、本開示によれば、画像信号が示す画像に対応するフローベクトルに基づいて、上記画像信号を処理するステップ、上記フローベクトルに基づいて、上記処理するステップにおいて処理された画像信号が示す画像を拡大するステップ、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１１】
本開示によれば、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】第１の実施形態に係る画像処理装置における処理の一例を示す流れ図である。
【図３】第１の実施形態に係る画像処理装置が備える検出部の構成の一例を示す説明図である。
【図４】第１の実施形態に係る画像処理装置が備える検出部における処理の一例を示す流れ図である。
【図５】第１の実施形態に係る画像処理装置が備える画像処理部の構成の一例を示す説明図である。
【図６】第１の実施形態に係る画像処理装置が備える画像処理部における処理の一例を示す流れ図である。
【図７】第１の実施形態に係る画像処理装置が備える拡大処理部の構成の一例を示す説明図である。
【図８】第１の実施形態に係る画像処理装置が備える拡大処理部におけるフローベクトルの補間処理の一例を示す説明図である。
【図９】第１の実施形態に係る画像処理装置が備える拡大処理部における処理の一例を示す流れ図である。
【図１０】第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１１】第２の実施形態に係る画像処理装置が備える拡大処理部の構成の一例を示す説明図である。
【図１２】第２の実施形態に係る画像処理装置が備える拡大処理部における処理の一例を示す流れ図である。
【図１３】第２の実施形態に係る画像処理装置における処理の一例を示す流れ図である。
【図１４】第３の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１５】第３の実施形態に係る画像処理装置が備えるフローベクトル更新部における処理の一例を示す流れ図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理御方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム
【００１５】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００１６】
また、以下では、本実施形態に係る画像処理装置が、画像（静止画像または動画像。以下、同様とする。）を示す画像信号を処理するものとして説明する。以下では、本実施形態に係る画像処理装置が処理する画像信号を「入力画像信号」と示し、本実施形態に係る画像処理装置が処理を完了した画像信号を「出力画像信号」と示す場合がある。
【００１７】
ここで、本実施形態に係る入力画像信号としては、例えば、本実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられる。また、本実施形態に係る画像処理装置は、例えば、ネットワークを介して（または直接的に）外部装置から送信された画像信号を受信し、受信した画像信号を入力画像信号として処理することも可能である。また、本実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を、入力画像信号として処理してもよい。さらに、本実施形態に係る画像処理装置が画像を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本実施形態に係る画像処理装置が撮像装置として機能する場合には、本実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像に対応する画像信号を、入力画像信号として処理してもよい。
【００１８】
上述したように、処理対象の画像信号が示す画像を絵画調の画像に変換する技術としては、例えば、上記特許文献１や上記非特許文献１〜３に記載の技術が挙げられる。しかしながら、例えば上記のようなフローベクトルに基づく画像処理に係る技術が用いられる場合には、画素数が多くなればなる程処理に要する計算量もまた多くなることから、画素数が多くなればなる程処理時間が長くなる。そのため、例えば上記のようなフローベクトルに基づく画像処理に係る技術が適用された画像処理装置が用いられる場合には、フローベクトルに基づく画像処理に要する時間が増加することに伴って、当該画像処理装置を用いるユーザの処理待ち時間を増加させてしまう恐れがある。よって、例えば上記のようなフローベクトルに基づく画像処理に係る技術が用いられる場合には、ユーザの利便性の低下へとつながる可能性がある。
【００１９】
また、画像信号に対する処理として、例えば、処理対象の画像信号が示す画像を拡大する処理がしばしば行われる。画像を拡大する技術としては、例えば、特許文献２（特許４１５０９４７号公報）や、非特許文献４（Wing-Shan Tam, Chi-Wah Kok, Wan-Chi Siu, "A MODIFIED EDGE DIRECTED INTERPOLATION FOR IMAGES", 17th European Signal Processing Confernce (EUSIPCO 2009), August 24-28, 2009, p.283-287）、非特許文献５（Xin Li, Micheael T. Orchard, "New Edge-Directed Interpolation", IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL 10, NO. 10, OCTOBER 2001, p1521-1527）に記載の技術が挙げられる。
【００２０】
ここで、フローベクトルに基づく画像処理に要する計算量の増加を抑えつつ、フローベクトルに基づく画像処理が行われたより画素数が多い画像を得るための一の方法としては、例えば、所望の画素数よりも画素数が小さい画像に対してフローベクトルに基づく画像処理を行い、当該フローベクトルに基づく画像処理後に、処理後の画像を拡大する方法が考えられる。上記一の方法が用いられる場合には、画素数が小さい画像に対してフローベクトルに基づく画像処理を行うことによって、フローベクトルに基づく画像処理に要する時間をより短縮することが可能となる。また、フローベクトルに基づく画像処理後の画像に対して、単純な拡大処理ではなく、例えば上記特許文献２や非特許文献４、５に記載されているような画像の拡大係る技術に係る処理を行うことによって、画像に対して単純な拡大処理を行った場合に起こりうる、例えば画像がぼやけるなどの画質の低下を防止することが可能となる。
【００２１】
よって、上記一の方法を用いることによって、フローベクトルに基づく画像処理に要する時間をより短縮しつつ、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる可能性がある。
【００２２】
しかしながら、例えば上記特許文献２や非特許文献４、５に記載されているような、画像の拡大係る技術では、画像における方向成分を検出する方向成分の検出処理が必要である。そのため、上記一の方法を用いる場合には、フローベクトルに基づく画像処理に要する時間を短縮できたとしても、画像における方向成分の検出処理を行うために時間を要することから、処理全体に要する時間がそれ程短縮されない（または増加する）恐れがある。
【００２３】
また、例えば上記特許文献２や非特許文献４、５に記載されているような、画像の拡大係る技術が用いられる場合には、例えば拡大処理を行う画像に含まれるノイズなどの影響によって、画像における方向成分が正しく検出されないことも起こりうる。上記のように画像における方向成分が正しく検出されない場合には、拡大処理において好ましい補間結果が得られない。また、例えば絵画調に変換された画像などのフローベクトルに基づく画像処理が行われた画像に対して、例えば上記のような拡大処理に係る技術が用いられる場合には、例えば、当該フローベクトルに対応する方向成分が検出できないことが起こりうる。よって、例えば上記のような拡大処理に係る技術が用いられる場合には、画質が低下する恐れがある。
【００２４】
上記のように、上記一の方法を用いたとしても、処理時間の短縮や画質の低下の防止を図りつつ、処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができるとは、限らない。
【００２５】
［本実施形態に係る画像処理方法の概要］
そこで、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像に対して、当該画像に対応するフローベクトルに基づく画像処理（拡大前画像処理）を行う。そして、本実施形態に係る画像処理装置は、上記フローベクトルに基づく画像処理に用いたフローベクトルを用いて、フローベクトルに基づく画像処理が行われた画像を、所望の画素数の画像に拡大する（拡大処理）。
【００２６】
ここで、本実施形態に係る処理対象の画像信号が示す画像に対応するフローベクトルとは、例えば、画素ごとや複数の画素からなる領域ごとに、方向が定義されたベクトルである。本実施形態に係るフローベクトルは、例えば、画像信号に基づいて算出されたものであってもよいし、ユーザ操作に基づき設定されたものであってもよい。また、本実施形態に係るフローベクトルとしては、例えば、ノルムが“１”のベクトルが挙げられる。なお、本実施形態に係るフローベクトルが、ノルムが“１”のベクトルに限られないことは、言うまでもない。また、本実施形態に係るフローベクトルは、ベクトルとして表現する代わりに、例えば画像の水平方向とフローベクトルとの間の角度（例えば、左回り方向の角度）で表すことによって、スカラー量で表現されてもよい。
【００２７】
上記のように（１）フローベクトルに基づく画像処理と、（２）拡大処理とを本実施形態に係る画像処理方法に係る処理として行うことによって、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【００２８】
ここで、本実施形態に係る画像処理装置は、（１）の処理（フローベクトルに基づく画像処理）において、（２）の処理（拡大処理）によって得られる所望の画素数の画像よりも画素数が小さな画像に対して、フローベクトルに基づく画像処理を行う。よって、本実施形態に係る画像処理装置は、上記一の方法を用いる場合と同様に、フローベクトルに基づく画像処理に要する計算量をより少なくすることが可能となるので、フローベクトルに基づく画像処理に要する時間をより短縮することができる。
【００２９】
また、本実施形態に係る画像処理装置は、（２）の処理（拡大処理）において、（１）の処理（フローベクトルに基づく画像処理）に用いたフローベクトルを用いて処理を行う。よって、本実施形態に係る画像処理装置は、例えば上記特許文献２や非特許文献４、５に記載されているような拡大処理に係る技術が用いられる場合のように画像における方向成分を新たに検出する必要はないので、当該拡大処理に係る技術が用いられる場合のように画像における方向成分の検出のために処理時間が延びることはない。また、本実施形態に係る画像処理装置は、（１）の処理に用いたフローベクトルを用いて拡大処理を行うので、例えば上記のような拡大処理に係る技術が用いられる場合のように画質が低下する恐れはない。
【００３０】
したがって、本実施形態に係る画像処理装置は、（１）の処理（フローベクトルに基づく画像処理）と（２）の処理（拡大処理）とを行うことによって、処理時間の短縮や画質の低下の防止を図りつつ、処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【００３１】
以下、本実施形態に係る画像処理装置の構成の一例について説明をすると共に、本実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００３２】
（本実施形態に係る画像処理装置）
［１］第１の実施形態に係る画像処理装置
図１は、第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、検出部１０２と、画像処理部１０４（拡大前画像処理部）と、拡大処理部１０６とを備える。
【００３３】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００３４】
ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、検出部１０２、画像処理部１０４、および拡大処理部１０６の役目を果たしてもよい。また、制御部（図示せず）は、例えば、拡大処理部１０６が処理を行った画像信号（出力画像信号）をエンコードして、記憶部（図示せず）に記録する、および／または、当該画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、本実施形態に係る画像処理方法に係る処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【００３５】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００３６】
記憶部（図示せず）は、画像処理装置１００が備える記憶機能であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００３７】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、操作部（図示せず）は、例えばタッチパッドなどのような、ユーザの接触操作による操作位置を検出することが可能な操作位置検出デバイスであってもよい。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００３８】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００３９】
通信部（図示せず）は、画像処理装置１００が備える通信機能であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００４０】
図２は、第１の実施形態に係る画像処理装置１００における処理の一例を示す流れ図である。
【００４１】
画像処理装置１００は、入力画像信号に基づいてフローベクトルを求める（Ｓ１００）。ここで、図１では、検出部１０２が、ステップＳ１００の処理を行う役目を果たす。
【００４２】
ステップＳ１００においてフローベクトルが求まると、画像処理装置１００は、当該フローベクトルを用いて入力画像信号を処理する（Ｓ１０２）。ここで、ステップＳ１０２の処理は、上記（１）の処理（フローベクトルに基づく画像処理）に該当する。また、図１では、画像処理部１０４が、ステップＳ１０２の処理を行う役目を果たす。
【００４３】
ステップＳ１０２の処理が行われると、画像処理装置１００は、ステップＳ１００において求めたフローベクトルを用いて、ステップＳ１０２において処理された画像信号が示す画像を拡大する（Ｓ１０４）。ここで、ステップＳ１０４の処理は、上記（２）の処理（拡大処理）に該当する。また、図１では、拡大処理部１０６が、ステップＳ１０４の処理を行う役目を果たす。
【００４４】
第１の実施形態に係る画像処理装置１００では、例えば図２に示す処理を行うことによって、本実施形態に係る画像処理方法を実現する。なお、第１の実施形態に係る画像処理装置１００における処理は、図２に示す処理に限られない。例えば、フローベクトルが、タッチパッドなどの操作位置検出デバイスやマウスなどの操作入力デバイスを用いたユーザ操作（例えば、なぞり操作など）に基づき設定される場合には、画像処理装置１００は、ステップＳ１００の処理を行わなくてもよい。上記の場合には、画像処理装置１００は、設定されたフローベクトルを用いてステップＳ１０２の処理およびステップＳ１０４の処理を行う。
【００４５】
また、画像処理装置１００は、入力画像信号が示す画像に対応するフローベクトルを示すフローベクトル情報を、サーバなどの外部装置から取得し、取得されたフローベクトル情報が示すフローベクトルを用いてステップＳ１０２の処理およびステップＳ１０４の処理を行うことも可能である。例えば、画像処理装置１００は、入力画像信号に含まれるメタ情報を入力画像信号から取得し、取得されたメタ情報を外部装置へ送信することによって、当該外部装置から入力画像信号が示す画像に対応するフローベクトル情報を取得する。
【００４６】
以下、図１に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００４７】
検出部１０２は、入力画像信号に基づいて、入力画像に対応するフローベクトルを検出する。より具体的には、検出部１０２は、入力画像信号に基づいて、例えば、入力画像信号が示す画像（以下、「入力画像」と示す場合がある。）の画素ごとに方向成分（フローベクトル）を求める。そして、検出部１０２は、求めた画素ごとの方向成分を示すフローベクトル情報を出力する。
【００４８】
〔検出部１０２の構成の一例〕
図３は、第１の実施形態に係る画像処理装置１００が備える検出部１０２の構成の一例を示す説明図である。検出部１０２は、例えば、Ｓｏｂｅｌフィルタ１１０と、方向ベクトル算出部１１２と、平滑化処理部１１４とを備える。
【００４９】
Ｓｏｂｅｌフィルタ１１０は、輝度の勾配をみることが可能なフィルタである。Ｓｏｂｅｌフィルタ１１０は、例えば、入力画像における注目画素を中心とした３×３の画素の画素値に対して、数式１に示す水平方向の係数行列Ｔ１と、数式２に示す垂直方向の係数行列Ｔ２とをそれぞれ乗算する。そして、Ｓｏｂｅｌフィルタ１１０は、乗算した結果を合計した値を、輝度勾配ベクトルｇとして出力する。ここで、図３では、水平方向に対する処理の結果（水平方向の輝度勾配）を“ｄｘ”、垂直方向に対する処理の結果（垂直方向の輝度勾配）を“ｄｙ”と示している。
【００５０】
【数１】
【数２】
【００５１】
なお、図３では、検出部１０２がＳｏｂｅｌフィルタ１１０を備える構成を示しているが、検出部１０２の構成は、上記に限られない。例えば、本実施形態に係る検出部１０２は、Ｓｏｂｅｌフィルタ１１０の代わりに、Ｐｒｅｗｉｔｔフィルタなどの他のフィルタを備えていてもよい。
【００５２】
方向ベクトル算出部１１２は、Ｓｏｂｅｌフィルタ１１０から伝達される輝度勾配ベクトルｇに基づいて、画素ごとに方向ベクトルｔを算出する。ここで、方向ベクトルｔは、例えば、輝度勾配ベクトルｇに直交し、ノルムが１のベクトルである。つまり、方向ベクトルｔは、輝度勾配が最も少ない方向を表す方向ベクトルに該当する。
【００５３】
より具体的には、方向ベクトル算出部１１２は、例えば下記の数式３の演算を行うことによって、方向ベクトルｔを算出する。なお、方向ベクトル算出部１１２における方向ベクトルｔの算出方法は、数式３に示す演算を行うことに限られない。例えば、数式３では正規化が行われている例を示しているが、方向ベクトル算出部１１２は、正規化を行わなくてもよい。
【００５４】
【数３】
【００５５】
平滑化処理部１１４は、例えば、係数算出部１１６と、畳み込み処理部１１８と、正規化処理部１２０とを備え、Ｓｏｂｅｌフィルタ１１０から伝達される出力値ｇと、方向ベクトル算出部１１２から伝達される方向ベクトルｔとに基づいて、ノルムが“１”のフローベクトルを出力する。係数算出部１１６は、画素位置でのフィルタ係数ｗを求める。ここで、係数算出部１１６は、例えば、非特許文献１に記載の「Ｅｄｇｅ Ｔａｎｇｅｎｔ Ｆｌｏｗ」アルゴリズムを用いてフィルタ係数ｗを算出するが、算出方法は、上記に限られない。また、畳み込み処理部１１８は、求められた係数ｗに基づき方向ベクトルｔの平滑化を行い、正規化処理部１２０は、畳み込み処理部１１８において平滑化された値を正規化する。
【００５６】
平滑化処理部１１４が上記のように平滑化を行うことによって、検出部１０２は、より安定した方向ベクトル（フローベクトル）を得ることができる。また、安定したフローベクトルを用いて（１）の処理（フローベクトルに基づく画像処理）を行うことによって、例えば絵画調の画像を得るための筆触の方向が安定するので、入力画像を絵画調の画像に変換する絵画調変換処理の効果をより向上させることが可能となる（画像処理が、絵画調の画像に変換する絵画調変換処理である場合。）
【００５７】
第１の実施形態に係る検出部１０２は、例えば図３に示す構成によって、入力画像信号に基づいて入力画像に対応するフローベクトルを検出する。ここで、図３に示す検出部１０２における一連の処理について、図４を参照して説明する。図４は、第１の実施形態に係る画像処理装置１００が備える検出部１０２における処理の一例を示す流れ図である。
【００５８】
検出部１０２は、入力画像信号に基づいて輝度勾配ベクトルｇを求める（Ｓ２００）。ここで、図３では、Ｓｏｂｅｌフィルタ１１０が、ステップＳ２００の処理を行う役目を果たす。
【００５９】
ステップＳ２００において輝度勾配ベクトルｇが求まると、検出部１０２は、輝度勾配ベクトルｇから方向ベクトルｔを算出する（Ｓ２０２）。ここで、図３では、方向ベクトル算出部１１２が、ステップＳ２０２の処理を行う役目を果たす。
【００６０】
ステップＳ２０２において方向ベクトルｔが算出されると、検出部２０２は、画素位置Ｐにおけるフィルタ係数を求める（Ｓ２０４）。ここで、図３では、係数算出部１１６が、ステップＳ２０４の処理を行う役目を果たす。また、画素位置Ｐは、例えば、特定の画素の位置を原点とする座標で表されてもよい。
【００６１】
ステップＳ２０４において画素位置Ｐにおけるフィルタ係数が求まると、検出部１０２は、画素位置Ｐにおける方向ベクトルｔを平滑化する（Ｓ２０６）。ここで、図３では、畳み込み処理部１１８が、ステップＳ２０６の処理を行う役目を果たす。
【００６２】
ステップＳ２０６において画素位置Ｐにおける方向ベクトルｔが平滑化されると、検出部１０２は、平滑化された方向ベクトルｔを正規化する（Ｓ２０８）。ここで、図３では、正規化処理部１２０が、ステップＳ２０８の処理を行う役目を果たす。また、検出部１０２は、例えば、ステップＳ２０８の処理が行われるごとに正規化された方向ベクトルｔ’（フローベクトル）を出力するが、検出部１０２における処理は、上記に限られない。例えば、検出部１０２は、後述するステップＳ２１０において平滑化が完了したと判定された場合に、各画素位置に対応する正規化された方向ベクトルｔ’（フローベクトル）を出力してもよい。
【００６３】
ステップＳ２０８において平滑化された方向ベクトルｔを正規化すると、検出部１０２は、入力画像に対応する全画素に対応する方向ベクトルｔに対する平滑化が完了したか否かを判定する（Ｓ２１０）。ここで、図３では、例えば平滑化部１１４（例えば、平滑化部１１４が備える処理制御回路（図示せず））が、ステップＳ２１０の処理を行う役目を果たす。検出部１０２は、例えば、全画素の画素位置それぞれに対応する処理完了フラグを保持し、画素位置Ｐにおける方向ベクトルｔに対する平滑化が完了するごとに、当該画素位置Ｐに対応するフラグを完了した状態に更新する。そして、検出部１０２は、例えば、全画素に対応する処理完了フラグが完了した状態を示す場合に、入力画像に対応する全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定する。なお、ステップＳ２１０における判定方法が、上記に限られないことは、言うまでもない。
【００６４】
ステップＳ２１０において全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定されない場合には、検出部１０２は、画素位置Ｐを変更し（Ｓ２１２）、ステップＳ２０４からの処理を繰り返す。
【００６５】
また、ステップＳ２１０において全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定された場合には、検出部１０２は、処理を終了する。
【００６６】
検出部１０２は、例えば図３に示す構成により図４に示す処理を行うことによって、入力画像信号に基づいて入力画像に対応するフローベクトルを検出する。
【００６７】
なお、本実施形態に係る検出部１０２の構成は、図３に示す構成に限られず、また、検出部１０２における処理は、図４に示す処理に限られない。例えば、検出部１０２は、画素ごとではなく複数の画素からなる所定の領域ごとに、フローベクトル（代表値）を検出してもよい。また、検出部１０２は、例えば、上記非特許文献２に記載の「Ｓｍｏｏｔｈｅｄ Ｓｔｒｕｃｔｕｒｅ Ｔｅｎｓｏｒ」を用いて、画素ごとのフローベクトルを検出してもよい。
【００６８】
再度図１を参照して、第１の実施形態に係る画像処理装置１００の構成の一例について説明する。画像処理部１０４は、（１）の処理（フローベクトルに基づく画像処理）を主導的に行う役目を果たし、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルに基づいて、入力画像信号を処理する。
【００６９】
ここで、画像処理部１０４におけるフローベクトルに基づく画像処理としては、入力画像を筆触のある絵画調の画像に変換する絵画調変換処理が挙げられる。より具体的には、画像処理部１０４は、例えば、フローベクトルに基づいて入力画像信号が示す入力画像に対して平滑化を行う画素を特定し、特定された画素に基づいて、入力画像を平滑化する。ここで、画像処理部１０４は、例えば、フローベクトルが示す方向成分に沿ったフィルタ処理（例えば、ローパスフィルタ処理）を行うことによって、入力画像を、筆触のある絵画調の画像に変換するが、画像処理部１０４における処理は、上記に限られない。例えば、画像処理部１０４は、フローベクトルが示す方向成分に直行する方向に対してハイパスフィルタ処理を行って輪郭部を検出し、検出された輪郭部の画素の信号レベルを下げることによって、入力画像を、輪郭線が加えられた絵画調の画像に変換することも可能である。
【００７０】
なお、本実施形態に係る画像処理部１０４におけるフローベクトルに基づく画像処理は、絵画調変換処理に限られない。例えば、画像処理部１０４は、フローベクトルを用いたレンダリング処理など、フローベクトルを用いる画像処理であれば、任意の画像処理を行ってもよい。以下では、画像処理部１０４が絵画調変換処理を行う場合を例に挙げて、画像処理部１０４の構成の一例について説明する。
【００７１】
〔画像処理部１０４の構成の一例〕
図５は、第１の実施形態に係る画像処理装置１００が備える画像処理部１０４の構成の一例を示す説明図である。画像処理部１０４は、例えば、経路決定部１２２と、サンプリング部１２４と、平滑化処理部１２６とを備える。ここで、図５は、例えば非特許文献３に記載の「Ｌｉｎｅ Ｉｎｔｅｇｒａｌ Ｃｏｎｖｏｌｕｔｉｏｎ」アルゴリズムを用いる場合における構成の一例を示している。
【００７２】
経路決定部１２２は、フローベクトルに基づいて処理対象の画素の位置を特定する。より具体的には、経路決定部１２２は、注目画素それぞれにおいて、当該注目画素に対応するフローベクトルに沿った２方向に画素を距離Ｌ分辿る処理を行う。つまり、経路決定部１２２における処理は、処理対象の画素をサンプリングする処理に相当する。そして、経路決定部１２２は、例えば、特定した画素の位置を座標で示すサンプリング座標情報を、サンプリング部１２４へ伝達する。
【００７３】
サンプリング部１２４は、経路決定部１２２から伝達されるサンプリング座標情報に基づいて、サンプリング座標情報が示す座標に対応する画素の画素値を入力画像から抽出する。
【００７４】
平滑化処理部１２６は、例えば、（２×Ｌ＋１）タップのローパスフィルタやガウスフィルタなどのフィルタを備え、サンプリング部１２４において抽出された画素値を平滑化する。そして、平滑化処理部１２６は、入力画像が平滑化された画像を示す画像信号（処理後の画像を示す画像信号。以下、「処理画像信号」と示す場合がある。）を出力する。
【００７５】
ここで、平滑化処理部１２６は、例えば、画素の位置とフィルタ係数とが予め対応付けられた関数やテーブルなどを用いて、平滑化処理部１２６が備えるフィルタのフィルタ係数を決定する。なお、本実施形態に係る平滑化処理部１２６におけるフィルタ係数の決定方法が、上記に限られないことは、言うまでもない。
【００７６】
第１の実施形態に係る画像処理部１０４は、例えば図５に示す構成によって、フローベクトルに基づいて入力画像信号を処理し、入力画像を絵画調の画像に変換する。ここで、図５に示す画像処理部１０４における一連の処理について、図６を参照して説明する。図６は、第１の実施形態に係る画像処理装置１００が備える画像処理部１０４における処理の一例を示す流れ図である。
【００７７】
画像処理部１０４は、処理画素（注目画素）に対応するフローベクトルを用いて、処理画素の位置Ｐにおけるフローの方向Ｄを特定する（Ｓ３００）。ここで、画像処理部１０４は、例えば、座標で表された位置Ｐを用いて処理を行う。
【００７８】
ステップＳ３００において処理画素におけるフローの方向Ｄが特定されると、画像処理部１０４は、初期値を設定する（Ｓ３０２）。ここで、“Ｐｐ”は、フローベクトルにより規定される一の方向の画素の位置を示し、“Ｐｍ”は、フローベクトルにより規定される他の方向の画素の位置を示す。また、“Ｄｐ”は、Ｐｐに対応するフローの方向を示しており、“Ｄｍ”は、Ｐｍに対応するフローの方向を示す。また、“Ｉ（Ｐ）”は、位置Ｐにおける画素値である。
【００７９】
ステップＳ３０２の処理が行われると、画像処理部１０４は、次のサンプリング位置を算出する（Ｓ３０４）。また、次のサンプリング位置が算出されると、画像処理部１０４は、次のサンプリング位置に対応するフィルタ係数Ｆを求める（Ｓ３０６）。ここで、画像処理部１０４は、例えば画素の位置とフィルタ係数とが予め対応付けられた関数やテーブルなどを用いてフィルタ係数Ｆを決定する。
【００８０】
ステップＳ３０６においてフィルタ係数が求まると、画像処理部１０４は、位置Ｐｐに対応する画素値と位置Ｐｍに対応する画素値とにフィルタ係数Ｆを乗じた値を、“Ｓｕｍ”に加算する（Ｓ３０８）。
【００８１】
ステップＳ３０８において“Ｓｕｍ”の値が更新されると、画像処理部１０４は、位置Ｐｐ、位置Ｐｍにおけるフロー方向Ｄｐ’、Ｄｍ’を、対応するフローベクトルに基づき求める（Ｓ３１０）。
【００８２】
ステップＳ３１０においてフロー方向Ｄｐ’、Ｄｍ’が求まると、画像処理部１０４は、フロー方向Ｄｐを更新し（Ｓ３１２）、また、フロー方向Ｄｍを更新する（Ｓ３１４）。ここで、ステップＳ３１２、Ｓ３１４では、画像処理部１０４が、例えば、ＤｐとＤｐ’との内積の値、ＤｍとＤｍ’との内積の値に応じて、フロー方向Ｄｐ、Ｄｍを更新する処理を示している。例えば、検出部１０２において「Ｅｄｇｅ Ｔａｎｇｅｎｔ Ｆｌｏｗ」アルゴリズムが用いられる場合には、ステップＳ３１０において求めたフロー方向Ｄｐ’、Ｄｍ’のみで、次のサンプリング位置を決定することはできない。そのため、画像処理部１０４は、例えばステップＳ３１２、Ｓ３１４に示す処理を行うことによって、フローの整列を行う。なお、フローの整列に係る処理が、ステップＳ３１２、Ｓ３１４に限られないことは、言うまでもない。また、検出部１０２において「Ｅｄｇｅ Ｔａｎｇｅｎｔ Ｆｌｏｗ」アルゴリズムが用いられない場合には、画像処理部１０４は、例えば、ステップＳ３１０において求めたフロー方向Ｄｐ’をフロー方向Ｄｐとして更新し、また、フロー方向Ｄｍ’をフロー方向Ｄｍとして更新してもよい。
【００８３】
ステップＳ３１２、Ｓ３１４の処理が行われると、画像処理部１０４は、フィルタのタップ数分の計算が完了したか否かを判定する（Ｓ３１６）。ステップＳ３１６においてフィルタのタップ数分の計算が完了したと判定されない場合には、画像処理部１０４は、ステップＳ３０４からの処理を繰り返す。
【００８４】
また、ステップＳ３１６においてフィルタのタップ数分の計算が完了したと判定された場合には、画像処理部１０４は、計算値（Ｓｕｍの値）を、出力する画像（処理後の画像）における位置Ｐに記録する（Ｓ３１８）。
【００８５】
ステップＳ３１８の処理が行われると、画像処理部１０４は、入力画像の全画素に対する計算が完了したか否かを判定する（Ｓ３２０）。ステップＳ３２０において入力画像の全画素に対する計算が完了したと判定されない場合には、画像処理部１０４は、注目画素の位置Ｐを変更し（Ｓ３２２）、ステップＳ３００からの処理を繰り返す。また、ステップＳ３２０において入力画像の全画素に対する計算が完了したと判定された場合には、画像処理部１０４は、処理を終了する。
【００８６】
画像処理部１０４は、例えば図５に示す構成により図６に示す処理を行うことによって、フローベクトルに基づいて入力画像信号を処理し、入力画像を絵画調の画像に変換する。
【００８７】
なお、本実施形態に係る画像処理部１０４の構成は、図５に示す構成に限られず、また、画像処理部１０４における処理は、図６に示す処理に限られない。例えば、画像処理部１０４は、上述したように、フローベクトルが示す方向成分に直行する方向に対してハイパスフィルタ処理を行って輪郭部を検出し、検出された輪郭部の画素の信号レベルを下げることによって、入力画像を、輪郭線が加えられた絵画調の画像に変換してもよい。また、画像処理部１０４は、上述したように、例えば、フローベクトルを用いたレンダリング処理など、フローベクトルを用いる画像処理であれば、任意の画像処理を行うことも可能である。
【００８８】
再度図１を参照して、第１の実施形態に係る画像処理装置１００の構成の一例について説明する。拡大処理部１０６は、（２）の処理（拡大処理）を主導的に行う役目を果たし、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルに基づいて、画像処理部１０４において処理された画像信号（処理画像信号）が示す画像を拡大する。
【００８９】
上述したように、単純な拡大処理を行う場合には、例えば画像がぼやけるなどの画質の低下が生じる恐れがある。そこで、拡大処理部１０６は、伝達されるフローベクトル情報が示すフローベクトルが示す方向成分に応じて、画像処理部１０４から伝達される処理画像信号が示す画像を補間することによって、当該画像を画素数がより多い画像に変換する。より具体的には、拡大処理部１０６は、伝達されるフローベクトル情報が示すフローベクトルに基づいて、拡大を行う場合に補間する補間画素の位置に対応するフローベクトルを、補間画素の位置ごとに算出する。そして、拡大処理部１０６は、算出された補間画素の位置それぞれに対応するフローベクトルと、処理画像信号とに基づいて、補間画素それぞれの画素値を得る。上記の処理によって、画質の低下を防止しつつ、処理画像信号が示す画像を、画素数がより多い画像に変換することができる。
【００９０】
〔拡大処理部１０６の構成の一例〕
図７は、第１の実施形態に係る画像処理装置１００が備える拡大処理部１０６の構成の一例を示す説明図である。拡大処理部１０６は、例えば、フロー補間処理部１２８と、補間係数決定部１３０と、画素補間処理部１３２とを備える。
【００９１】
フロー補間処理部１２８は、検出部１０２から伝達されるフローベクトル情報が示すフローベクトルを用いて、補間対象となる画素（以下、「補間画素」と示す場合がある。）の位置におけるフローベクトルを求める。つまり、フロー補間処理部１２８は、検出部１０２から伝達されるフローベクトルを用いて、補間画素に対応するフローベクトルを補間する。そして、フロー補間処理部１２８は、例えば、補間画素の位相を示す情報と、検出部１０２から伝達される各画素に対応するフローベクトルおよび当該補間画素に対応するフローベクトルを示す情報（以下、「補間フローベクトル情報」と示す場合がある。）とを、補間係数決定部１３０に伝達する。
【００９２】
図８は、第１の実施形態に係る画像処理装置１００が備える拡大処理部１０６におけるフローベクトルの補間処理の一例を示す説明図である。図８を参照しつつ、拡大処理部１０６のフロー補間処理部１２８が、フローベクトルの補間処理を行うものとして説明する。
【００９３】
フロー補間処理部１２８は、補間画素の最近傍の画素に対応するフローベクトルを取得する（図８に示すＡ）。ここで、図８では、フロー１が取得される例を示している。
【００９４】
また、フロー補間処理部１２８は、補間画素の周辺のフローベクトル（例えば、図８の例では、フロー２、フロー３、フロー４）を取得し、最近傍のフローベクトルと、周辺の各フローベクトルとの角度差θ（θ＜１８０［°］）を算出する（図８に示すＢ）。このとき、フロー補間処理部１２８は、最近傍のフローベクトルに対応する画素における角度差については、例えば０［°］とおく。
【００９５】
また、フロー補間処理部１２８は、算出した角度差を用いてバイリニア補間処理を行うことによって、補間画素における角度差θ’を算出する（図８に示すＣ）。そして、フロー補間処理部１２８は、最近傍の画素に対応するフローベクトルと基準方向（例えば水平方向など）との角度差に角度差θ’を加算した結果得られるベクトルを、補間画素に対応するフローベクトルとする（図８に示すＤ）。
【００９６】
フロー補間処理部１２８は、例えば図８を参照して説明した上記の処理を行うことによって、補間画素に対応するフローベクトルを補間する。なお、本実施形態に係るフロー補間処理部１２８におけるフローベクトルの補間処理は、上記に限られない。例えば、フロー補間処理部１２８は、最近傍の画素に対応するフローベクトルを、補間画素に対応するフローベクトルとしてもよい。上記のように最近傍の画素に対応するフローベクトルを補間画素に対応するフローベクトルとすることによって、フロー補間処理部１２８は、処理量を低減することができる。
【００９７】
再度図７を参照して、拡大処理部１０６の構成の一例について説明する。補間係数決定部１３０は、補間画素の位相と、補間画素に対応するフローベクトルが示す方向に基づいて、画素の補間に用いるフィルタ係数Ｗ（以下、「補間係数Ｗ」と示す場合もある。）を決定する。
【００９８】
ここで、補間係数決定部１３０は、例えば、位相とフローベクトルとの組み合わせと、フィルタ係数とが対応付けられたテーブルを参照することによって、フィルタ係数Ｗを一意に決定する。上記テーブルは、例えば画像処理装置１００が備えるＲＯＭ（図示せず）などに記憶され、補間係数決定部１３０は、ＲＯＭ（図示せず）などを参照することによって、フィルタ係数Ｗを決定する。補間係数決定部１３０は、処理を行う前に予め上記テーブルを読み込んで読み込んだテーブルを保持していてもよいし、ＲＯＭ（図示せず）などを適宜参照してもよい。なお、補間係数決定部１３０における処理は、上記に限られない。例えば、補間係数決定部１３０は、通信部（図示せず）を介して、上記テーブルを記憶するサーバなどの外部装置と通信を行い、当該外部装置から補間画素の位相と補間画素に対応するフローベクトルとに対応するフィルタ係数Ｗを取得してもよい。
【００９９】
また、本実施形態に係るフィルタ係数Ｗとしては、例えば、フローに直交する方向のボケを抑えて、並行する方向に強く平滑化をかける特性を持った補間係数が挙げられる。上記のような特定のフィルタ係数Ｗが用いられることによって、後述する画素補間処理部１３２において、滑らかで、かつ、ぼやけの少ない補間結果を得ることが可能となる。さらに、並行する方向に強く平滑化をかける特性のフィルタ係数Ｗが用いられることによって、たとえ処理画像信号が示す画像にジャギーが存在する場合であっても、当該ジャギーを軽減することができる。ここで、画像処理部１０４において絵画調変換処理が行われる場合には、エッジ付近に望ましくないジャギーが発生することが起こりうる。上記のようにジャギーが発生したとしても、画素補間処理部１３２は、並行する方向に強く平滑化をかける特性のフィルタ係数Ｗが用いられることによってジャギーを軽減することができるので、より高画質化を図ることができる。
【０１００】
画素補間処理部１３２は、補間画素の周辺の画素の画素値をサンプリングし、補間係数決定部１３０において決定されたフィルタ係数Ｗを用いて畳み込み処理を行うことによって、補間画素の画素値を得る。
【０１０１】
そして、画素補間処理部１３２は、補間がなされて画素数が向上した画像を示す画像信号（以下、「出力画像信号」と示す場合がある。）を出力する。ここで、出力画像信号は、例えば、制御部（図示せず）によりエンコードされて記憶部（図示せず）などに記憶され、および／または、出力画像信号が示す画像は表示部（図示せず）や外部表示装置の表示画面に表示される。
【０１０２】
第１の実施形態に係る拡大処理部１０６は、例えば図７に示す構成によって、フローベクトルに基づいて、画像処理部１０４において処理された処理画像信号が示す画像を拡大する。ここで、図７に示す拡大処理部１０６における一連の処理について、図９を参照して説明する。図９は、第１の実施形態に係る画像処理装置１００が備える拡大処理部１０６における処理の一例を示す流れ図である。
【０１０３】
拡大処理部１０６は、補間係数のテーブル（例えば、位相とフローベクトルとの組み合わせと、フィルタ係数とが対応付けられたテーブル）を読み込む（Ｓ４００）。なお、拡大処理部１０６が、例えば、補間係数のテーブルを適宜参照する構成の場合には、ステップＳ４００の処理は行われなくてもよい。
【０１０４】
また、拡大処理部１０６は、補間画素の位置である補間位置Ｐに対応するフローベクトルを算出する（Ｓ４０２）。ここで、拡大処理部１０６は、例えば、図８に示す処理を行うことによって、補間位置Ｐに対応するフローベクトルを算出する。
【０１０５】
ステップＳ４０２において補間位置Ｐに対応するフローベクトルが算出されると、拡大処理部１０６は、補間位置Ｐの位相とフローベクトルの方向に基づいて、補間係数Ｗを決定する（Ｓ４０４）。ここで、拡大処理部１０６は、例えば、ステップＳ４００において読み込んだテーブルを用いて、補間係数Ｗを決定する。
【０１０６】
ステップＳ４０４において補間係数Ｗが決定されると、拡大処理部１０６は、補間位置Ｐの周辺の画素に、補間係数Ｗをフィルタ係数とするフィルタを畳み込むことによって、補間画素の画素値を得る（Ｓ４０６）。そして、拡大処理部１０６は、補間画素を出力する（Ｓ４０８）。なお、拡大処理部１０６は、例えば、後述するステップＳ４１０において、出力画像信号に対応する画像（以下、「出力画像」と示す場合がある。）に対応する全画素に対する計算が完了したと判定された場合に、各補間画素、および処理画像信号に対応する画素それぞれを出力してもよい。
【０１０７】
ステップＳ４０６、Ｓ４０８の処理が行われると、拡大処理部１０６は、出力画像に対応する全画素に対する計算が完了したか否かを判定する（Ｓ４１０）。ステップＳ４１０において出力画像に対応する全画素に対する計算が完了したと判定されない場合には、拡大処理部１０６は、補間位置Ｐを変更して（Ｓ４１２）、ステップＳ４０２からの処理を繰り返す。また、ステップＳ４１０において出力画像に対応する全画素に対する計算が完了したと判定された場合には、拡大処理部１０６は、処理を終了する。
【０１０８】
拡大処理部１０６は、例えば図７に示す構成により図９に示す処理を行うことによって、フローベクトルに基づいて、画像処理部１０４において処理された処理画像信号が示す画像を拡大する。なお、本実施形態に係る拡大処理部１０６の構成が、図７に示す構成に限られず、また、拡大処理部１０６における処理が、図９に示す処理に限られないことは、言うまでもない。
【０１０９】
第１の実施形態に係る画像処理装置１００は、例えば図１に示す構成によって、本実施形態に係る画像処理方法に係る（１）の処理（フローベクトルに基づく画像処理）と（２）の処理（拡大処理）とを行うことによって、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換する。
【０１１０】
ここで、図１に示す画像処理装置１００は、単一のフローベクトルを用いて、絵画調変換処理（本実施形態に係る画像処理の一例）と、補間処理（拡大処理）とを行うので、方向成分の計算に要する処理時間を節約することができる。また、共通のフローベクトルを用いることによって、絵画調変換処理において用いるフィルタの方向特性と、補間処理において用いるフィルタの方向特性とが揃う。よって、画像処理装置１００では、補間処理において望ましい方向成分が得られた上で処理が行われるので、不適切な方向成分で補間がなされることによる画質の低下を防止することができる。
【０１１１】
したがって、第１の実施形態に係る画像処理装置は、処理時間の短縮や画質の低下の防止を図りつつ、処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１１２】
〔第１の実施形態に係る画像処理装置１００の構成の変形例〕
なお、第１の実施形態に係る画像処理装置１００の構成は、図１に示す構成に限られない。例えば、図１では、画像処理装置１００が検出部１０２を備え、検出部１０２が入力画像信号から検出したフローベクトルを用いて処理を行う構成を示したが、第１の実施形態に係る画像処理装置１００は、検出部１０２を備えていなくてもよい。例えば、フローベクトルが、タッチパッドなどの操作位置検出デバイスやマウスなどの操作入力デバイスを用いたユーザ操作に基づき設定される場合には、画像処理装置１００は、操作位置検出デバイスなどから伝達される、ユーザ操作に基づき設定されたフローベクトルを用いて処理を行ってもよい。上記のようにユーザ操作に基づき設定されたフローベクトルを用いて処理を行う場合であっても、第１の実施形態に係る画像処理装置１００は、図１に示す画像処理装置１００と同様の利点を有する。
【０１１３】
また、第１の実施形態に係る画像処理装置１００は、入力画像信号が示す画像に対応するフローベクトルを示すフローベクトル情報を、サーバなどの外部装置から取得し、取得されたフローベクトル情報が示すフローベクトルを用いて処理を行ってもよい。例えば、画像処理装置１００は、入力画像信号に含まれるメタ情報を入力画像信号から取得し、取得されたメタ情報を外部装置へ送信することによって、当該外部装置から入力画像信号が示す画像に対応するフローベクトル情報を取得する。上記のように外部装置から取得したフローベクトル情報が示す、入力画像信号が示す画像に対応するフローベクトルを用いて処理を行う場合であっても、第１の実施形態に係る画像処理装置１００は、図１に示す画像処理装置１００と同様の利点を有する。
【０１１４】
また、第１の実施形態に係る画像処理装置１００は、例えば、図１に示す構成に加え、動画像を撮像する撮像部（図示せず）をさらに備えていてもよい。上記の構成の場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された入力画像信号を処理することが可能である。
【０１１５】
ここで、本実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【０１１６】
［２］第２の実施形態に係る画像処理装置
本実施形態に係る画像処理装置の構成は、上述した第１の実施形態に係る画像処理装置１００の構成に限られない。例えば、本実施形態に係る画像処理装置は、複数の絵画調変換処理を併用する場合など、複数の画像処理を行うことも可能である。そこで、次に、複数の画像処理を行う場合に対応する、第２の実施形態に係る画像処理装置２００の構成の一例について説明する。
【０１１７】
例えば、複数の絵画調変換処理を併用するときには、それぞれの処理において処理に最適な画像サイズが異なる場合がある。上記のように、処理に最適な画像サイズが異なる場合には、例えば、（２）の処理（拡大処理）を行って好適な画像サイズに変換した後に、各絵画調変換処理を行えばよい。しかしながら、例えば、図１に示す画像処理装置１００の拡大処理部１０６から出力される出力画像信号に対して、さらに絵画調変換処理を行う場合には、拡大後の画像に対応する各画素に対応するフローベクトルを検出しなおす必要があるため、処理時間が増大する恐れがある。
【０１１８】
そこで、第２の実施形態に係る画像処理装置２００では、（２）の処理（拡大処理）を行う際に補間により再サンプルしたフローベクトル（例えば、フロー補間処理部１２８から出力される補間フローベクトル情報が示すフローベクトル）を、拡大後の画像に対応するフローベクトルとする。
【０１１９】
ここで、図７を参照して説明したように、（２）の処理（拡大処理）を行う役目を果たす拡大処理部１０６では、例えば、補間画素に対応するフローベクトルを算出して、補間画素を補間することによって、処理対象の画像を拡大する。つまり、本実施形態に係る画像処理装置では、（２）の処理（拡大処理）を行う際に補間により再サンプルしたフローベクトルは、拡大後の画像に対応するものである。よって、第２の実施形態に係る画像処理装置２００が、既に計算されている拡大後の画像に対応するフローベクトルを用いて拡大後の画像に対する画像処理を行えば、拡大後の画像に対応する各画素に対応するフローベクトルを検出しなおす必要はない。
【０１２０】
したがって、第２の実施形態に係る画像処理装置２００は、処理時間の短縮を図りつつ、複数の画像処理を行うことができる。以下、第２の実施形態に係る画像処理装置２００の構成の一例について説明する。
【０１２１】
図１０は、第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。画像処理装置２００は、検出部１０２と、画像処理部１０４（拡大前画像処理部）と、拡大処理部２０４と、画像処理部２０４（拡大後画像処理部）とを備える。
【０１２２】
図１０に示す第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有するが、図１に示す第１の実施形態に係る画像処理装置１００と比較すると、第２の実施形態に係る画像処理装置２００は、画像処理部２０４をさらに備えている。また、第２の実施形態に係る画像処理装置２００では、拡大処理部２０２が有する機能が、第１の実施形態に係る拡大処理部１０６と異なる。
【０１２３】
拡大処理部２０２は、第１の実施形態に係る拡大処理部１０６と基本的に同様の構成、機能を有するが、補間フローベクトル情報を画像処理部２０４へ伝達する点が、第１の実施形態に係る拡大処理部１０６と異なる。
【０１２４】
〔拡大処理部２０２の構成の一例〕
図１１は、第２の実施形態に係る画像処理装置２００が備える拡大処理部２０２の構成の一例を示す説明図である。図１１に示すように、拡大処理部２０２は、例えば、図７に示す拡大処理部１０６と同様の機能、構成を有する、フロー補間処理部１２８と、補間係数決定部１３０と、画素補間処理部１３２とを備える。また、図１１と図７とを比較すると、拡大処理部２０２では、フロー補間処理部１２８から出力される補間フローベクトル情報が拡大処理部２０２の外部へと出力される点が、第１の実施形態に係る拡大処理部１０６と異なる。
【０１２５】
図１２は、第２の実施形態に係る画像処理装置２００が備える拡大処理部２０２における処理の一例を示す流れ図である。
【０１２６】
拡大処理部２０２は、図９に示すステップＳ４００と同様に、補間係数のテーブル（例えば、位相とフローベクトルとの組み合わせと、フィルタ係数とが対応付けられたテーブル）を読み込む（Ｓ５００）。なお、拡大処理部２０２が、例えば、補間係数のテーブルを適宜参照する構成の場合には、ステップＳ５００の処理は行われなくてもよい。
【０１２７】
また、拡大処理部２０２は、図９に示すステップＳ４０２と同様に、補間画素の位置である補間位置Ｐに対応するフローベクトルを算出する（Ｓ５０２）。そして、拡大処理部２０２は、算出された補間位置Ｐに対応するフローベクトルを出力する（Ｓ５０４）。なお、拡大処理部２０２は、例えば、後述するステップＳ５１２において、出力画像に対応する全画素に対する計算が完了したと判定された場合に、例えば検出部１０２から伝達されたフローベクトル情報が示すフローベクトルと、各補間画素に対応するフローベクトルとを出力してもよい。また、ステップＳ５０４の処理は、例えば、拡大処理部２０２の後段において、絵画調処理などの画像処理や、他の拡大処理が行われない場合には、行われなくてもよい。
【０１２８】
ステップＳ５０２において補間位置Ｐに対応するフローベクトルが算出されると、拡大処理部２０２は、図９に示すステップＳ４０４と同様に、補間位置Ｐの位相とフローベクトルの方向に基づいて、補間係数Ｗを決定する（Ｓ５０６）。
【０１２９】
ステップＳ５０６において補間係数Ｗが決定されると、拡大処理部２０２は、図９に示すステップＳ４０６と同様に、補間位置Ｐの周辺の画素に、補間係数Ｗをフィルタ係数とするフィルタを畳み込むことによって、補間画素の画素値を得る（Ｓ５０８）。そして、拡大処理部２０２は、補間画素を出力する（Ｓ５１０）。なお、拡大処理部２０２は、例えば、後述するステップＳ５１２において、出力画像に対応する全画素に対する計算が完了したと判定された場合に、各補間画素、および処理画像信号に対応する画素それぞれを出力してもよい。
【０１３０】
ステップＳ５０８、Ｓ５１０の処理が行われると、拡大処理部２０２は、出力画像に対応する全画素に対する計算が完了したか否かを判定する（Ｓ５１２）。ステップＳ５１２において出力画像に対応する全画素に対する計算が完了したと判定されない場合には、拡大処理部２０２は、補間位置Ｐを変更して（Ｓ５１４）、ステップＳ５０２からの処理を繰り返す。また、ステップＳ５１２において出力画像に対応する全画素に対する計算が完了したと判定された場合には、拡大処理部２０２は、処理を終了する。
【０１３１】
拡大処理部２０２は、例えば図１１に示す構成により図１２に示す処理を行うことによって、フローベクトルに基づいて、画像処理部１０４において処理された処理画像信号が示す画像を拡大する。なお、本実施形態に係る拡大処理部２０２の構成が、図１１に示す構成に限られず、また、拡大処理部２０２における処理は、図１２に示す処理に限られないことは、言うまでもない。
【０１３２】
再度図１０を参照して、第２の実施形態に係る画像処理装置２００の構成の一例について説明する。画像処理部２０４は、拡大処理部２０２から伝達される補間フローベクトル情報（入力画像に対応するフローベクトルと、補間画素の位置それぞれに対応するフローベクトルとを示す情報）とに基づいて、拡大処理部２０２から伝達される拡大された画像を示す画像信号を処理する。
【０１３３】
ここで、画像処理部２０４におけるフローベクトルに基づく画像処理としては、例えば絵画調変換処理が挙げられるが、画像処理部２０４におけるフローベクトルに基づく画像処理は、絵画調変換処理に限られない。例えば、画像処理部２０４は、フローベクトルを用いたレンダリング処理など、フローベクトルを用いる画像処理であれば、任意の画像処理を行うことが可能である。
【０１３４】
第２の実施形態に係る画像処理装置２００は、例えば図１０に示す構成によって、複数の画像処理を行う。ここで、図１０に示す画像処理装置２００における一連の処理について、図１３を参照して説明する。図１３は、第２の実施形態に係る画像処理装置２００における処理の一例を示す流れ図である。
【０１３５】
画像処理装置２００は、図２に示すステップＳ１００と同様に、入力画像信号に基づいてフローベクトルを求める（Ｓ６００）。
【０１３６】
ステップＳ６００においてフローベクトルが求まると、画像処理装置２００は、図２に示すステップＳ１０２と同様に、当該フローベクトルを用いて入力画像信号を処理する（Ｓ６０２）。
【０１３７】
ステップＳ６０２の処理が行われると、画像処理装置２００は、現画像サイズにおける画像処理が全て完了したか否かを判定する（Ｓ６０４）。ここで、画像処理装置２００は、例えば、入力画像に対応する全画素に対する処理が完了した場合に、現画像サイズにおける画像処理が全て完了したと判定する。
【０１３８】
ステップＳ６０４において現画像サイズにおける画像処理が全て完了したと判定されない場合には、画像処理装置２００は、ステップＳ６０２からの処理を繰り返す。
【０１３９】
また、ステップＳ６０４において現画像サイズにおける画像処理が全て完了したと判定された場合には、画像処理装置２００は、図２に示すステップＳ１０４と同様に、ステップＳ６００において求めたフローベクトルを用いて、ステップＳ６０２において処理された画像信号が示す画像を拡大する（Ｓ６０６）。
【０１４０】
ステップＳ６０６の処理が行われると、画像処理装置２００は、全てのフローベクトルに基づく画像処理が完了したか否かを判定する（Ｓ６０８）。ステップＳ６０８において全てのフローベクトルに基づく画像処理が完了したと判定されない場合には、画像処理装置２００は、ステップＳ６０２からの処理を繰り返す。なお、再度ステップＳ６０２の処理を行う場合には、画像処理装置２００は、拡大後の画像に対応するフローベクトルを用いる。また、ステップＳ６０８において全てのフローベクトルに基づく画像処理が完了したと判定された場合には、画像処理装置２００は、処理を終了する。
【０１４１】
第２の実施形態に係る画像処理装置２００では、例えば図１３に示す処理を行うことによって、本実施形態に係る画像処理方法を実現する。なお、第２の実施形態に係る画像処理装置２００における処理は、図１３に示す処理に限られない。例えば、フローベクトルがユーザ操作に基づき設定される場合には、画像処理装置２００は、ステップＳ６００の処理を行わなくてもよい。上記の場合には、画像処理装置２００は、設定されたフローベクトルを用いてステップＳ６０２以降の処理を行う。また、画像処理装置２００は、サーバなどの外部装置から取得されたフローベクトル情報が示すフローベクトルを用いてステップＳ６０２以降の処理を行うことも可能である。
【０１４２】
第２の実施形態に係る画像処理装置２００は、例えば図１０に示すように、図１に示す第１の実施形態に係る画像処理装置１００と同様の構成を有する。よって、画像処理装置２００は、本実施形態に係る画像処理方法に係る（１）の処理（フローベクトルに基づく画像処理）と（２）の処理（拡大処理）とを行うことによって、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１４３】
また、画像処理装置２００は、拡大処理部２０２において（２）の処理（拡大処理）を行う際に補間により再サンプルしたフローベクトルを、拡大後の画像に対応するフローベクトルとする。上記によって、画像処理装置２００は、拡大後の画像に対応したフローベクトルを再度の検出処理を行うことなく得ることができ、また、当該拡大後の画像に対応したフローベクトルを以降の画像処理に用いることが可能となる。
【０１４４】
したがって、第２の実施形態に係る画像処理装置２００は、処理時間の短縮を図りつつ、複数の画像処理を行うことができる。
【０１４５】
〔第２の実施形態に係る画像処理装置２００の構成の変形例〕
なお、第２の実施形態に係る画像処理装置２００の構成は、図１０に示す構成に限られない。例えば、図１０では、拡大処理部２０２の後段に１つの画像処理部（画像処理部２０４）を備える構成を示しているが、第２の実施形態に係る画像処理装置２００は、拡大処理部２０２の後段に複数の画像処理部を備えていてもよい。上記の構成であっても、拡大処理部２０２の後段に設けられる各画像処理部は、拡大処理部２０２において補間により再サンプルしたフローベクトルを拡大後の画像に対応するフローベクトルとして処理を行うことが可能である。よって、上記の構成であっても、第２の実施形態に係る画像処理装置２００は、図１０に示す画像処理装置２００と同様の利点を有する。
【０１４６】
また、第２の実施形態に係る画像処理装置２００は、複数の画像処理部に加え、（２）の処理（拡大処理）を行う他の拡大処理部を、さらに拡大処理部２０２の後段に備えていてもよい。上記の構成では、他の拡大処理部の後段に備えられる画像処理部は、当該他の拡大処理部において補間により再サンプルしたフローベクトルを拡大後の画像に対応するフローベクトルとして処理を行うことが可能である。したがって、上記の構成をとる場合には、第２の実施形態に係る画像処理装置２００は、任意の数の処理解像度で、任意の数のフローベクトルに基づく画像処理（例えば、絵画調変換処理）を行うことができる。
【０１４７】
さらに、第２の実施形態に係る画像処理装置２００は、例えば、上述した第１の実施形態に係る画像処理装置１００と同様の変形例をとることができる。
【０１４８】
［３］第３の実施形態に係る画像処理装置
本実施形態に係る画像処理装置の構成は、上述した第１の実施形態に係る画像処理装置１００、および第２の実施形態に係る画像処理装置２００の構成に限られない。そこで、次に、第３の実施形態に係る画像処理装置２００の構成の一例について説明する。
【０１４９】
（１）の処理（フローベクトルに基づく画像処理）を行うときにおいて、例えば、ユーザ操作に基づくレンダリング処理（フローベクトルに対応しない画像処理の一例）が行われた場合には、処理後の画像がフローベクトルと対応しなくなる恐れがある。上記処理後の画像がフローベクトルと対応しなくなる恐れは、例えば、筆触パターンをレンダリングすることにより絵画調変換処理を行うときに（絵画調変換処理の一例）、筆触パターンが対象の領域をはみ出すなどの過度の処理が行われてしまった場合にも起こりうる。上記のように処理後の画像が、フローベクトルと対応しなくなった場合には、（２）の処理（拡大処理）における補間画素の補間において望ましくない補間が行われ、その結果、画質の低下が生じうる。
【０１５０】
そこで、第３の実施形態に係る画像処理装置３００では、（１）の処理（フローベクトルに基づく画像処理）の処理結果に応じて、フローベクトルを更新することによって、処理後の画像とフローベクトルとの対応付けを行うことによって、上記画質の低下を防止する。以下、第３の実施形態に係る画像処理装置３００の構成の一例について説明する。
【０１５１】
図１４は、第３の実施形態に係る画像処理装置３００の構成の一例を示すブロック図である。画像処理装置３００は、検出部１０２と、画像処理部３０２（拡大前画像処理部）と、フローベクトル更新部３０４と、拡大処理部１０６とを備える。
【０１５２】
図１４に示す第３の実施形態に係る画像処理装置３００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有するが、図１に示す第１の実施形態に係る画像処理装置１００と比較すると、第３の実施形態に係る画像処理装置３００は、フローベクトル更新部３０４をさらに備えている。また、第３の実施形態に係る画像処理装置３００では、画像処理部３０２が有する機能が、第１の実施形態に係る画像処理部１０４と異なる。
【０１５３】
画像処理部３０２は、第１の実施形態に係る画像処理部１０４と基本的に同様の構成、機能を有するが、処理の内容を示す処理情報をフローベクトル更新部３０４へ伝達する点が、第１の実施形態に係る画像処理部１０４と異なる。ここで、本実施形態に係る処理情報としては、例えば、レンダリングを行った領域を示す情報（例えば、矩形の領域の場合には、四隅の座標を示す。）と、レンダリングを行った場合における処理方向（例えば、筆触方向など）を示す情報とが挙げられる。
【０１５４】
画像処理部３０２は、例えば、フローベクトルに応じてレンダリングを行ったか否かによらず、レンダリングを行った全ての領域に対応する処理情報を、フローベクトル更新部３０４へ伝達するが、画像処理部３０２における処理は、上記に限られない。例えば、画像処理部３０２は、ユーザ操作に基づいてレンダリングが行われた領域に対応する処理情報、すなわち、フローベクトルに対応しない画像処理が行われた領域に対応する処理情報を、フローベクトル更新部３０４へ伝達してもよい。
【０１５５】
フローベクトル更新部３０４は、画像処理部３０２から伝達される処理情報に基づいて、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルを更新する。そして、フローベクトル更新部３０４は、処理情報に基づいて選択的に更新されたフローベクトルを示す更新フローベクトル情報を、拡大処理部１０６へ伝達する。
【０１５６】
図１５は、第３の実施形態に係る画像処理装置３００が備えるフローベクトル更新部３０４における処理の一例を示す流れ図である。
【０１５７】
フローベクトル更新部３０４は、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルを、出力メモリに読み込む（Ｓ７００）。
【０１５８】
フローベクトル更新部３０４は、画像処理部３０２から伝達される処理情報に基づいて、レンダリング領域の形状と、処理方向（例えば、筆触におけるストローク方向）とを特定する（Ｓ７０２）。
【０１５９】
ステップＳ７０２の処理が行われると、フローベクトル更新部３０４は、特定したレンダリング領域に対応するフローベクトルを、特定した処理方向に更新する（Ｓ７０４）。
【０１６０】
ステップＳ７０４の処理が行われると、フローベクトル更新部３０４は、伝達された処理情報が示す全てのレンダリング領域に対する処理が完了したか否かを判定する（Ｓ７０６）。ステップＳ７０６において全てのレンダリング領域に対する処理が完了したと判定されない場合には、フローベクトル更新部３０４は、ステップＳ７０２からの処理を繰り返す。
【０１６１】
また、ステップＳ７０６において全てのレンダリング領域に対する処理が完了したと判定された場合には、フローベクトル更新部３０４は、更新フローベクトル情報を出力し（Ｓ７０８）、処理を終了する。
【０１６２】
フローベクトル更新部３０４は、例えば図１５に示す処理を行うことによって、画像処理部３０２から伝達される処理情報に基づいて、例えば検出部１０２から伝達されるフローベクトル情報が示すフローベクトルを更新する。なお、本実施形態に係るフローベクトル更新部３０４における処理が、図１５に示す処理に限られないことは、言うまでもない。
【０１６３】
第３の実施形態に係る画像処理装置３００は、例えば図１４に示すように、図１に示す第１の実施形態に係る画像処理装置１００と同様の構成を有する。よって、画像処理装置３００は、本実施形態に係る画像処理方法に係る（１）の処理（フローベクトルに基づく画像処理）と（２）の処理（拡大処理）とを行うことによって、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１６４】
また、画像処理装置３００は、（１）の処理（フローベクトルに基づく画像処理）の処理を行う画像処理部３０２から伝達される処理情報に基づいて、例えば検出部１０２から伝達されるフローベクトルを更新する。したがって、画像処理装置３００は、処理後の画像とフローベクトルとの対応付けを行うことが可能となるので、処理後の画像とフローベクトルとが対応しなくなくなることにより生じうる画質の低下を防止することができる。
【０１６５】
〔第３の実施形態に係る画像処理装置３００の構成の変形例〕
なお、第３の実施形態に係る画像処理装置３００の構成は、図１０に示す構成に限られない。例えば、第３の実施形態に係る画像処理装置３００は、上述した第１の実施形態に係る画像処理装置１００と同様の変形例をとることができる。
【０１６６】
また、第３の実施形態に係る画像処理装置３００は、上述した第２の実施形態に係る画像処理装置２００（変形例も含む。）と同様に、フローベクトルに基づく画像処理を複数行う構成をとることも可能である。上記の構成をとる場合、第３の実施形態に係る画像処理装置３００は、例えば、各画像処理部の後段に、各画像処理部から伝達される処理情報に基づきフローベクトルを更新するフローベクトル更新部を備える。
【０１６７】
以上のように、本実施形態に係る画像処理装置は、（１）の処理（フローベクトルに基づく画像処理）と、（２）の処理（拡大処理）とを行う。ここで、本実施形態に係る画像処理装置は、（１）の処理（フローベクトルに基づく画像処理）において、（２）の処理（拡大処理）によって得られる所望の画素数の画像よりも画素数が小さな画像に対して、フローベクトルに基づく画像処理を行う。よって、本実施形態に係る画像処理装置は、フローベクトルに基づく画像処理に要する計算量をより少なくすることが可能となるので、フローベクトルに基づく画像処理に要する時間をより短縮することができる。
【０１６８】
また、本実施形態に係る画像処理装置は、（２）の処理（拡大処理）において、（１）の処理（フローベクトルに基づく画像処理）に用いたフローベクトルを用いて処理を行う。よって、本実施形態に係る画像処理装置は、例えば上記特許文献２や非特許文献４、５に記載されているような拡大処理に係る技術が用いられる場合のように画像における方向成分を新たに検出する必要はないので、当該拡大処理に係る技術が用いられる場合のように画像における方向成分の検出のために処理時間が延びることはない。また、本実施形態に係る画像処理装置は、（１）の処理に用いたフローベクトルを用いて拡大処理を行うので、上記のような拡大処理に係る技術が用いられる場合のように画質が低下する恐れはない。
【０１６９】
したがって、本実施形態に係る画像処理装置は、処理時間の短縮や画質の低下の防止を図りつつ、処理対象の画像信号が示す画像をフローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１７０】
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣ（Personal Computer）やタブレット端末などのコンピュータ、携帯電話などの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、テレビ受像機などの表示装置など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１７１】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（１）の処理（フローベクトルに基づく画像処理）および上記（２）の処理（拡大処理）など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号が示す画像を、フローベクトルに基づく画像処理が行われたより画素数が多い画像に変換することができる。
【０１７２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７３】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【０１７４】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理する拡大前画像処理部と、
前記フローベクトルに基づいて、前記拡大前画像処理部において処理された画像信号が示す画像を拡大する拡大処理部と、
を備える、画像処理装置。
（２）
前記画像信号に基づいて、前記画像に対応するフローベクトルを検出する検出部をさらに備える、（１）に記載の画像処理装置。
（３）
前記画像に対応するフローベクトルは、ユーザ操作に基づき設定される、請求項１に記載の画像処理装置。
（４）
前記拡大処理部は、
前記フローベクトルに基づいて、拡大を行う場合に補間する補間画素の位置に対応するフローベクトルを、補間画素の位置ごとに算出し、
算出された補間画素の位置それぞれに対応するフローベクトルと、処理された前記画像信号とに基づいて、補間画素それぞれの画素値を得る、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記拡大処理部から伝達される、前記画像に対応するフローベクトルと算出された補間画素の位置それぞれに対応するフローベクトルとに基づいて、拡大された画像を示す画像信号を処理する拡大後画像処理部をさらに備える、（４）に記載の画像処理装置。
（６）
前記拡大前画像処理部における処理の内容を示す処理情報に基づいて、前記画像に対応するフローベクトルを更新するフローベクトル更新部をさらに備え、
前記拡大処理部は、更新されたフローベクトルに基づいて、処理された前記画像信号が示す画像を拡大する、（１）〜（５）のいずれか１つに記載の画像処理装置。
（７）
前記拡大前画像処理部は、
前記フローベクトルに基づいて、前記画像信号が示す画像に対して平滑化を行う画素を特定し、
特定された画素に基づいて、前記画像信号が示す画像を平滑化する、（１）〜（６）のいずれか１つに記載の画像処理装置。
（８）
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理するステップと、
前記フローベクトルに基づいて、前記処理するステップにおいて処理された画像信号が示す画像を拡大するステップと、
を有する、画像処理方法。
（９）
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理するステップ、
前記フローベクトルに基づいて、前記処理するステップにおいて処理された画像信号が示す画像を拡大するステップ、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１７６】
１００、２００、３００ 画像処理装置
１０２ 検出部
１０４、２０４、３０２ 画像処理部
１０６、２０２ 拡大処理部
３０４ フローベクトル更新部
【特許請求の範囲】
【請求項１】
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理する拡大前画像処理部と、
前記フローベクトルに基づいて、前記拡大前画像処理部において処理された画像信号が示す画像を拡大する拡大処理部と、
を備える、画像処理装置。
【請求項２】
前記画像信号に基づいて、前記画像に対応するフローベクトルを検出する検出部をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
前記画像に対応するフローベクトルは、ユーザ操作に基づき設定される、請求項１に記載の画像処理装置。
【請求項４】
前記拡大処理部は、
前記フローベクトルに基づいて、拡大を行う場合に補間する補間画素の位置に対応するフローベクトルを、補間画素の位置ごとに算出し、
算出された補間画素の位置それぞれに対応するフローベクトルと、処理された前記画像信号とに基づいて、補間画素それぞれの画素値を得る、請求項１に記載の画像処理装置。
【請求項５】
前記拡大処理部から伝達される、前記画像に対応するフローベクトルと算出された補間画素の位置それぞれに対応するフローベクトルとに基づいて、拡大された画像を示す画像信号を処理する拡大後画像処理部をさらに備える、請求項４に記載の画像処理装置。
【請求項６】
前記拡大前画像処理部における処理の内容を示す処理情報に基づいて、前記画像に対応するフローベクトルを更新するフローベクトル更新部をさらに備え、
前記拡大処理部は、更新されたフローベクトルに基づいて、処理された前記画像信号が示す画像を拡大する、請求項１に記載の画像処理装置。
【請求項７】
前記拡大前画像処理部は、
前記フローベクトルに基づいて、前記画像信号が示す画像に対して平滑化を行う画素を特定し、
特定された画素に基づいて、前記画像信号が示す画像を平滑化する、請求項１に記載の画像処理装置。
【請求項８】
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理するステップと、
前記フローベクトルに基づいて、前記処理するステップにおいて処理された画像信号が示す画像を拡大するステップと、
を有する、画像処理方法。
【請求項９】
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理するステップ、
前記フローベクトルに基づいて、前記処理するステップにおいて処理された画像信号が示す画像を拡大するステップ、
をコンピュータに実行させるためのプログラム。
【請求項１】
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理する拡大前画像処理部と、
前記フローベクトルに基づいて、前記拡大前画像処理部において処理された画像信号が示す画像を拡大する拡大処理部と、
を備える、画像処理装置。
【請求項２】
前記画像信号に基づいて、前記画像に対応するフローベクトルを検出する検出部をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
前記画像に対応するフローベクトルは、ユーザ操作に基づき設定される、請求項１に記載の画像処理装置。
【請求項４】
前記拡大処理部は、
前記フローベクトルに基づいて、拡大を行う場合に補間する補間画素の位置に対応するフローベクトルを、補間画素の位置ごとに算出し、
算出された補間画素の位置それぞれに対応するフローベクトルと、処理された前記画像信号とに基づいて、補間画素それぞれの画素値を得る、請求項１に記載の画像処理装置。
【請求項５】
前記拡大処理部から伝達される、前記画像に対応するフローベクトルと算出された補間画素の位置それぞれに対応するフローベクトルとに基づいて、拡大された画像を示す画像信号を処理する拡大後画像処理部をさらに備える、請求項４に記載の画像処理装置。
【請求項６】
前記拡大前画像処理部における処理の内容を示す処理情報に基づいて、前記画像に対応するフローベクトルを更新するフローベクトル更新部をさらに備え、
前記拡大処理部は、更新されたフローベクトルに基づいて、処理された前記画像信号が示す画像を拡大する、請求項１に記載の画像処理装置。
【請求項７】
前記拡大前画像処理部は、
前記フローベクトルに基づいて、前記画像信号が示す画像に対して平滑化を行う画素を特定し、
特定された画素に基づいて、前記画像信号が示す画像を平滑化する、請求項１に記載の画像処理装置。
【請求項８】
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理するステップと、
前記フローベクトルに基づいて、前記処理するステップにおいて処理された画像信号が示す画像を拡大するステップと、
を有する、画像処理方法。
【請求項９】
画像信号が示す画像に対応するフローベクトルに基づいて、前記画像信号を処理するステップ、
前記フローベクトルに基づいて、前記処理するステップにおいて処理された画像信号が示す画像を拡大するステップ、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２３０５４９（Ｐ２０１２−２３０５４９Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９８４４３（Ｐ２０１１−９８４４３）
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]