画像処理装置、画像処理方法およびプログラム
【課題】撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する。
【解決手段】画像処理部100は、実空間に存在する物体の撮像画像に映る前記物体の状態または種類に基づいて、仮想オブジェクトを決定して前記撮像画像に対して前記仮想オブジェクトを合成し、表示装置130に表示された被写体21の位置に前記仮想オブジェクトが合成された撮像画像を表示する制御を行う前記表示装置130の表示制御部を備える。
【解決手段】画像処理部100は、実空間に存在する物体の撮像画像に映る前記物体の状態または種類に基づいて、仮想オブジェクトを決定して前記撮像画像に対して前記仮想オブジェクトを合成し、表示装置130に表示された被写体21の位置に前記仮想オブジェクトが合成された撮像画像を表示する制御を行う前記表示装置130の表示制御部を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、撮像により得られた画像(以下、「撮像画像」とも言う。)に各種のオブジェクトを合成する技術が知られている。撮像画像には様々なオブジェクトが合成され得るが、例えば、被写体(例えば、人物や動物など)が撮像される場合にはその被写体が身に着ける物(例えば、衣装や鞄など)の画像がオブジェクトとして撮像画像に合成され得る。撮像画像に対してオブジェクトを合成する技術としては、様々な技術が開示されている。
【0003】
例えば、衣装画像を人物画像に合成する技術が開示されている(例えば、特許文献1参照)。このように人物画像に衣装画像が合成されることにより得られる合成画像を見れば、実際に衣装を試着しなくても自分が衣装を着たときの見た目を把握しながら衣装を選択することができる。
【0004】
一方、撮像画像にオブジェクトを合成する技術ばかりではなく、撮像画像自体を変形する技術も存在する。撮像画像自体を変形する技術の一例としては、減損現実(Diminished Reality)という技術が存在する。かかる技術によれば、撮像画像に映っている物体がユーザにより指定されると、指定された物体が撮像画像から消去される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−136841号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、例えば、撮像画像に映る物体の状態または種類に基づいた画像処理を行う技術は開示されていない。そのため、物体の状態や物体の種類が考慮されずに撮像画像が処理される可能性があった。例えば、撮像画像に映るユーザが身体に衣装を当てている場合、既にユーザが着用している服が衣装からはみ出しても、はみ出している部分を撮像画像から自動的に消去することができなかった。
【0007】
また、撮像画像に映るユーザがどのように衣装を着こなしているかによって撮像画像に合成されるオブジェクトを調整したり、撮像画像に映るユーザがどのようなアクセサリを身に着けているかによって撮像画像に合成されるオブジェクトを変更したりすることができなかった。したがって、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する技術が実現されることが望ましい。
【課題を解決するための手段】
【0008】
本開示によれば、撮像画像に仮想オブジェクトを合成する画像処理部を備え、前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する、画像処理装置が提供される。
【0009】
また、本開示によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する撮像画像を処理することを含む、画像処理方法が提供される。
【0010】
また、本開示によれば、コンピュータを、撮像画像に仮想オブジェクトを合成する画像処理部を備え、前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【0011】
以上説明したように本開示によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定することが可能である。
【図面の簡単な説明】
【0012】
【図1】本開示の実施形態に係る画像処理システムの概要を説明するための図である。
【図2】画像処理装置の構成例を示すブロック図である。
【図3】骨格情報および深度情報を説明するための図である。
【図4】画像処理部が有する機能の一例を説明するための図である。
【図5】画像処理部が有する機能の一例を説明するための図である。
【図6】画像処理装置の動作の流れの一例を示すフローチャートである。
【図7】画像処理部が有する機能の第1の変形例を説明するための図である。
【図8】画像処理部が有する機能の第1の変形例を説明するための図である。
【図9】第1の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【図10】画像処理部が有する機能の第2の変形例を説明するための図である。
【図11】画像処理部が有する機能の第2の変形例を説明するための図である。
【図12】画像処理部が有する機能の第2の変形例を説明するための図である。
【図13】第2の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【図14】画像処理部が有する機能の第3の変形例を説明するための図である。
【図15】画像処理部が有する機能の第3の変形例を説明するための図である。
【図16】画像処理部が有する機能の第3の変形例を説明するための図である。
【図17】第3の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0015】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.画像処理システムの概要
2.画像処理装置が有する機能
3.画像処理装置の動作
4.第1の変形例における機能
5.第1の変形例における動作
6.第2の変形例における機能
7.第2の変形例における動作
8.第3の変形例における機能
9.第3の変形例における動作
10.むすび
【0016】
<1.画像処理システムの概要>
以下では、まず、本開示の実施形態に係る画像処理システムの概要について図1を参照して説明する。
【0017】
図1は、本開示の実施形態に係る画像処理システムの概要を説明するための図である。図1に示したように、本開示の実施形態に係る画像処理システム10は、画像処理装置100と表示部130と撮像部140とセンサ部150とを含む。画像処理システム10が設置される場所は特に限定されない。例えば、画像処理システム10は、被写体20の自宅内に設置されてもよい。
【0018】
また、図1に示した例では、画像処理システム10を構成する複数のブロック(例えば、画像処理装置100、表示部130、撮像部140およびセンサ部150)が別体に構成されているが、画像処理システム10を構成する複数のブロックのいずれかの組み合わせが一体化されていてもよい。例えば、画像処理システム10を構成する複数のブロックは、スマートフォン、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【0019】
撮像部140は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図1に示した例では、実空間に存在する物体として被写体20(例えば、人物)が撮像部140により撮像される。撮像部140により撮像された画像(以下、「撮像画像」とも言う。)は表示部130により表示され得る。表示部130により表示される撮像画像は、RGB画像であってもよい。図1に示した例では、被写体21が映った撮像画像131が表示部130により表示されている。
【0020】
センサ部150は、実空間からパラメータを検出する機能を有している。例えば、センサ部150が赤外線センサにより構成されている場合、センサ部150は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして画像処理装置100に供給することができる。画像処理装置100は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ部150の種類は、赤外線センサに限定されない。なお、図1に示した例では、検出データがセンサ部150から画像処理装置100に供給されることとしているが、画像処理装置100に供給される検出データは、撮像部140により撮像された画像であってもよい。
【0021】
撮像画像は、画像処理装置100により処理される。例えば、画像処理装置100は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成することにより撮像画像を処理することができる。表示部130は、画像処理装置100により処理された後の撮像画像を表示することも可能である。例えば、画像処理装置100により被写体21の位置が認識された場合には、被写体21の位置に仮想オブジェクト(例えば、衣装画像)が合成された撮像画像が、表示部130により表示され得る。仮想オブジェクトの合成は、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより行われてもよいし、撮像画像を変形することにより(例えば、撮像画像からキャプチャされた画像を撮像画像に重畳することにより)行われてもよい。
【0022】
被写体20は、このように処理された撮像画像を見ることにより、実際に衣装を試着しなくても自分が衣装を着たときの見た目を把握しながら衣装を選択することができる。しかし、例えば、被写体20が身に着けている衣装の状態または種類に応じた画像処理を行う技術は開示されていない。そのため、被写体20が身に着けている衣装の状態または種類が考慮されていない仮想オブジェクトが被写体21に合成される可能性があった。したがって、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する技術が実現されることが望まれる。
【0023】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定することができる。以下、図2〜5を参照しながら、本開示の実施形態に係る画像処理装置100が有する機能を説明する。
【0024】
<2.画像処理装置が有する機能>
図2は、画像処理装置100の構成例を示すブロック図である。図2を参照すると、画像処理装置100は、制御部110および記憶部120を備える。制御部110は、検出部111、画像処理部112および表示制御部113を備える。画像処理装置100には、表示部130、撮像部140およびセンサ部150が接続されている。
【0025】
(制御部)
制御部110は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部110は、記憶部120または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部110の様々な機能を動作させる。なお、制御部110を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置(例えば、サーバ)に組み込まれていてもよい。
【0026】
(記憶部)
記憶部120は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、画像処理装置100による処理のためのプログラムおよびデータを記憶する。例えば、制御部110としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部120は、制御部110により使用されるデータを記憶する。例えば、記憶部120は、物体認識のために使用される特徴量辞書および表示対象となる仮想オブジェクトを記憶することができる。
【0027】
(表示部)
表示部130は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本開示の実施形態においては、表示部130が画像処理装置100と別体に構成されていることを想定しているが、表示部130は、画像処理装置100の一部であってもよい。
【0028】
(撮像部)
撮像部140は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、撮像部140が画像処理装置100と別体に構成されていることを想定しているが、撮像部140は、画像処理装置100の一部であってもよい。
【0029】
(センサ部)
センサ部150は、実空間からパラメータを検出する機能を有している。例えば、センサ部150が赤外線センサにより構成されている場合、センサ部150は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして画像処理装置100に供給することができる。センサ部150の種類は、赤外線センサに限定されない。なお、撮像部140により撮像された画像が検出データとして画像処理装置100に供給される場合には、センサ部150は存在しなくてもよい。
【0030】
(検出部)
検出部111は、検出データに基づいて撮像画像に映る物体の状態または種類を検出する。検出部111により検出される物体の状態または種類の例については後に説明するが、検出部111により検出される物体の状態または種類は特に限定されない。また、撮像画像に映る物体の状態または種類を検出する手法は特に限定されない。例えば、検出部111は、撮像画像から決定される特徴量を物体の特徴量と照合することにより、撮像画像に含まれる物体の状態または種類を検出することができる。
【0031】
より具体的には、検出部111は、SIFT法またはRandom Ferns法などの特徴量決定法に従って撮像画像内の特徴量を決定し、決定した特徴量を物体の特徴量と照合する。そして、検出部111は、撮像画像内の特徴量と最も適合する特徴量と関連付けられている物体の種類(例えば、物体を識別するための情報)、撮像画像における物体の状態(例えば、物体の位置および姿勢)を認識する。
【0032】
ここで、検出部111により、物体の特徴量データと物体の種類を識別するための情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶部120により記憶されていてもよいし、サーバから受信されてもよい。物体の特徴量データは、例えば、SIFT法またはRandom Ferns法に従って物体の学習用画像から決定された特徴量の集合であってもよい。
【0033】
あるいは、検出部111は、撮像画像の代わりにセンサ部150から供給される検出データから決定される特徴量を物体の特徴量と照合することにより、物体の状態または種類を検出することもできる。このとき、例えば、検出部111は、撮像画像から物体の状態または種類を検出する手法と同様の手法により、センサ部150から供給される検出データに基づいて物体の状態または種類を検出することができる。
【0034】
以上に説明したような手法により、検出データに基づいて撮像画像に映る物体の状態または種類を検出することができる。検出部111は、画像処理装置100の代わりにセンサ部150に組み込まれていてもよい。
【0035】
検出部111は、物体を認識する場合と同様に、撮像画像から決定される特徴量を物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。あるいは、検出部111は、撮像画像の代わりにセンサ部150から供給される検出データから決定される特徴量を物体の部位ごとの特徴量と照合することにより、物体の部位を認識することができる。
【0036】
物体の状態を検出するために、公知技術(例えば、Microsoft(登録商標)社が開発したKinect(登録商標))を使用することもできる。かかる公知技術を使用すれば、検出部111は、被写体20を構成する1以上の部位の各々の位置を示す座標の例として、骨格情報を取得することができる。検出部111は、骨格情報に基づいて、被写体20の状態を検出することができる。あるいは、検出部111は、骨格情報および深度情報に基づいて、被写体20の状態を検出することができる。まず、この骨格情報および深度情報について、図3を参照しながら説明する。
【0037】
図3は、骨格情報および深度情報を説明するための図である。検出部111は、上記公知技術を使用することにより、図3に示すような骨格情報を取得することができる。図3に示した例では、骨格情報は、被写体20を構成する15の部位の位置を示す座標B1〜B3、B6、B7、B9、B12、B13、B15、B17、B18、B20〜B22、B24として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【0038】
なお、座標B1は「Head」の座標を示し、座標B2は「Neck」の座標を示し、座標B3は「Torso」の座標を示し、座標B6は「Left Shoulder」の座標を示し、座標B7は「Left Elbow」の座標を示している。また、座標B9は「Left Hand」の座標を示し、座標B12は「Right Shoulder」の座標を示し、座標B13は「Right Elbow」の座標を示し、座標B15は「Right Hand」の座標を示している。
【0039】
座標B17は「Left Hip」の座標を示し、座標B18は「Left Knee」の座標を示し、座標B20は「Left Foot」の座標を示し、座標B21は「Right Hip」の座標を示している。座標B22は「Right Knee」の座標を示し、座標B24は「Right Foot」の座標を示している。
【0040】
また、検出部111は、上記公知技術を使用することにより、図3に示すような深度情報を取得することもできる。深度情報はセンサ部150からの距離を示す情報であり、図3には、簡単のため、深度が閾値よりも低い領域(センサ部150からの距離が閾値よりも小さい領域)である物体存在領域Rとその他の領域R’とが深度情報の一例として示されている。
【0041】
(画像処理部)
画像処理部112は、撮像画像に映る物体の状態または種類に基づいて撮像画像を処理する。撮像画像に映る物体の状態または種類は、上記したように、検出部111により検出され得る。画像処理部112がどのように撮像画像を処理するかについては特に限定されない。例えば、上記したように、画像処理部112は、撮像画像に映る物体の状態または種類に基づいて、撮像画像に対して仮想オブジェクトを合成することにより撮像画像を処理することができる。上記したように、仮想オブジェクトの合成は、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより行われてもよいし、撮像画像を変形することにより(例えば、撮像画像からキャプチャされた画像を撮像画像に重畳することにより)行われてもよい。
【0042】
続いて、画像処理部112が有する機能の一例について、図4および図5を参照しながら説明を行う。図4は、画像処理部112が有する機能の一例を説明するための図である。
【0043】
例えば、画像処理部112は、撮像画像に映る物体と撮像画像に映る所定の物体との隣接が検出された場合に、撮像画像に映る物体を他の物体に置換する処理により撮像画像に仮想オブジェクトを合成してもよい。図4には、撮像画像131Aに映る物体の例として物体31Aが示され、撮像画像131Aに映る所定の物体の例として物体32Aが示されている。また、図4には、他の物体の例として物体33Aが示されている。また、図4に示した例では、物体31Aはスカートであり、物体32Aはズボンであり、物体33Aが脚であるが、物体31A、物体32Aおよび物体33Aは、特に限定されない。
【0044】
撮像画像131Aにおいては、被写体21がズボンを着用中であり、ズボンの上にスカートを当てている。被写体20は、表示された撮像画像131Aを見ることにより、スカートを着用したときの見た目を把握することができる。しかし、撮像画像131Aにおいては、スカートの下からズボンがはみ出てしまっている一方、実際にスカートを着用したときにはスカートの下から脚がはみ出るはずである。このため、被写体20は、撮像画像131Aにより実際にスカートを着用したときの見た目とは異なった見た目を把握することになってしまう。
【0045】
そこで、画像処理部112は、スカートとズボンとの隣接が検出された場合に、ズボンを脚(例えば、肌色部分)に置換すればよい。図4には、画像処理部112により、ズボンのうちスカートからはみ出た部分が消され、当該部分が脚に置換された撮像画像131A’が示されている。スカートとズボンとの隣接は、検出部111により検出されるが、検出手法は特に限定されない。
【0046】
例えば、撮像画像に映る物体と所定の物体との隣接は、撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出され得る。例えば、検出部111は、スカートからはみ出ている部分の形状が脚の形状であるか否かを判定し、当該部分が脚の形状ではないと判定した場合には、スカートからズボンがはみ出ていると予想されるため、スカートとズボンとの隣接を検出してもよい。
【0047】
また、例えば、検出部111は、スカートからはみ出ている部分の色が脚の色(例えば、肌色)であるか否かを判定し、当該部分が脚の色ではないと判定した場合には、スカートからズボンがはみ出ていると予想されるため、スカートとズボンとの隣接を検出してもよい。さらに、検出部111は、スカートからはみ出ている部分の色が脚の色であると判定した場合であっても、脚の色である部分が閾値を超えるサイズを有していない場合には、脚の色である部分が脚ではないと予想されるため、スカートとズボンとの隣接を検出してもよい。
【0048】
このように、検出部111は、スカートからはみ出ている部分の形状または色に基づいて、スカートとズボンとの隣接を検出することができる。脚の形状や脚の色は、あらかじめ登録されていてもよいし、学習により蓄積されていってもよい。なお、画像処理部112は、撮像画像に映る物体と撮像画像に重畳された所定の物体との隣接が検出された場合に、撮像画像に映る物体を他の物体に置換する処理により撮像画像に仮想オブジェクトを合成してもよい。図4に示した例では、被写体20が実空間に存在するスカートを身体に当てているが、仮想オブジェクトであるスカートが被写体21の身体に当てられている場合にも、ズボンのうちスカートからはみ出ている部分を消す処理が実行され得る。
【0049】
図5は、画像処理部112が有する機能の一例を説明するための図である。図5には、撮像画像131Bに映る物体の例として物体31Bが示され、撮像画像131Bに映る所定の物体の例として物体32Bが示されている。また、図5には、他の物体の例として物体33Bが示されている。また、図5に示した例では、物体31Bは半袖シャツであり、物体32Bは長袖シャツであり、物体33Bが腕であるが、物体31B、物体32Bおよび物体33Bは、特に限定されない。
【0050】
撮像画像131Bにおいては、被写体21が長袖シャツを着用中であり、長袖シャツの上に半袖シャツを当てている。被写体20は、表示された撮像画像131Bを見ることにより、半袖シャツを着用したときの見た目を把握することができる。しかし、撮像画像131Bにおいては、半袖シャツの下から長袖シャツがはみ出てしまっている一方、実際に半袖シャツを着用したときには半袖シャツの下から腕がはみ出るはずである。このため、被写体20は、撮像画像131Bにより実際に半袖シャツを着用したときの見た目とは異なった見た目を把握することになってしまう。
【0051】
そこで、画像処理部112は、長袖シャツと半袖シャツとの隣接が検出された場合に、長袖シャツを腕(例えば、肌色部分)に置換すればよい。図5には、画像処理部112により、長袖シャツのうち半袖シャツからはみ出た部分が消され、当該部分が腕に置換された撮像画像131B’が示されている。長袖シャツと半袖シャツとの隣接は、検出部111により検出されるが、検出手法は特に限定されない。例えば、検出部111は、半袖シャツからはみ出ている部分の形状が腕の形状であるか否かを判定し、当該部分が腕の形状ではないと判定した場合には、半袖シャツから長袖シャツがはみ出ていると予想されるため、長袖シャツと半袖シャツとの隣接を検出してもよい。
【0052】
また、例えば、検出部111は、半袖シャツからはみ出ている部分の色が脚の色(例えば、肌色)であるか否かを判定し、当該部分が腕の色ではないと判定した場合には、半袖シャツから長袖シャツがはみ出ていると予想されるため、半袖シャツと長袖シャツとの隣接を検出してもよい。さらに、検出部111は、半袖シャツからはみ出ている部分の色が腕の色であると判定した場合であっても、腕の色である部分が閾値を超えるサイズを有していない場合には、腕の色である部分が腕ではないと予想されるため、半袖シャツと長袖シャツとの隣接を検出してもよい。
【0053】
このように、検出部111は、半袖シャツからはみ出ている部分の形状または色に基づいて、半袖シャツと長袖シャツとの隣接を検出することができる。脚の形状や脚の色は、あらかじめ登録されていてもよいし、学習により蓄積されていってもよい。なお、図5に示した例では、被写体20が実空間に存在する半袖シャツを身体に当てているが、仮想オブジェクトである半袖シャツが被写体21の身体に当てられている場合にも、長袖シャツのうち半袖シャツからはみ出ている部分を消す処理が実行され得る。
【0054】
なお、服からはみ出ている部分が存在した場合であっても、当該部分が消されない方が好ましい場合もある。例えば、被写体20が着用中のシャツの上にジャケットを重ね着したときにシャツが消去されない状態での見た目を把握したい場合などである。このような要求を満たすため、例えば、撮像画像に映る物体が所定の位置で撮像画像に映る所定の物体と隣接している場合には、撮像画像に映る所定の物体が他の物体に置換されないようにしてもよい。
【0055】
例えば、画像処理部112は、ジャケットからシャツがはみ出ており、はみ出ている部分が被写体21の首であれば、撮像画像に映る所定の物体を首(例えば、肌色部分)に置換しないようにすればよい。したがって、画像処理部112は、隣接位置が所定の位置(例えば、腕の位置、脚の位置など)である場合には、撮像画像に映る物体に隣接する物体を他の物体に置換し、隣接位置がその他の位置(例えば、首の位置など)である場合には、撮像画像に映る物体に隣接する物体を他の物体に置換しないようにしてもよい。隣接位置は、撮像画像から判定されてもよいし、骨格情報から判定されてもよい。
【0056】
(表示制御部)
画像処理部112により仮想オブジェクトが合成された後の撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御される。
【0057】
以上、図4および図5を参照しながら、本開示の実施形態に係る画像処理装置100が有する機能の一例を説明した。以下、図6を参照しながら、本開示の実施形態に係る画像処理装置100の動作の流れの一例を説明する。
【0058】
<3.画像処理装置の動作>
図6は、本開示の実施形態に係る画像処理装置100の動作の流れの一例を示すフローチャートである。なお、図6を参照しながら説明する画像処理装置100の動作は、特に、被写体20が着用している服の状態を検出する場合における画像処理装置100の動作である。被写体20が着用している服は、撮像画像に映る物体の一例である。
【0059】
図6に示すように、まず、検出部111は、被写体21が服を身体に当てていない場合には(ステップS11で「No」)、ステップS11に戻る。一方、検出部111は、被写体21が服を身体に当てている場合には(ステップS11で「Yes」)、その服の状態を検出する。画像処理部112は、身体に当てられた服から他の服が被写体20の腕においてはみ出ていることが検出された場合には(ステップS12で「Yes」)、他の服のうち身体に当てられた服から腕においてはみ出ている部分を削除する(ステップS13)。
【0060】
一方、画像処理部112は、身体に当てられた服から他の服が被写体20の腕においてはみ出ていることが検出されない場合には(ステップS12で「No」)、ステップS14に進む。画像処理部112は、身体に当てられた服から他の服が被写体20の脚においてはみ出ていることが検出された場合には(ステップS14で「Yes」)、他の服のうち身体に当てられた服から脚においてはみ出ている部分を削除する(ステップS15)。
【0061】
一方、画像処理部112は、身体に当てられた服から他の服が被写体20の脚においてはみ出ていることが検出されない場合には(ステップS14で「No」)、他の服のうち身体に当てられた服から脚においてはみ出ている部分を削除しなくてよい。画像処理部112により処理された撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御されてもよい。
【0062】
以上、図6を参照しながら、画像処理装置100の動作の流れの一例について説明した。
【0063】
<4.第1の変形例における機能>
続いて、画像処理部112が有する機能の第1の変形例について、図7および図8を参照しながら説明を行う。図7は、画像処理部112が有する機能の第1の変形例を説明するための図である。
【0064】
例えば、画像処理部112は、撮像画像に映る物体と撮像画像に映る所定の物体との重なりが検出された場合に、重なりに応じて変形された仮想オブジェクトを撮像画像に合成してもよい。図7には、撮像画像131Cに映る物体の例として物体31Cが示され、撮像画像131Cに映る所定の物体の例として物体32Cが示されている。また、図7に示した例では、物体31Cはシャツであり、物体32Cはズボンであり、物体33Cはズボンであるが、物体31C、物体32Cおよび物体33Cは、特に限定されない。
【0065】
撮像画像131Cにおいては、被写体21がズボンおよびシャツを着用中である。被写体20は、撮像画像131Cにズボンが合成された撮像画像を見ることにより、ズボンを着用したときの見た目を把握することができる。しかし、ズボンの上にシャツを出しているか否かに関わらず、一律にズボン全体を撮像画像131Cに合成してしまうと、被写体20のズボンの着こなし方を自然に反映した撮像画像は得られない。このため、被写体20は、自分の着こなし方とは異なった着こなし方でズボンを着用した場合の見た目を把握することになってしまう。
【0066】
そこで、画像処理部112は、シャツとズボンとの重なりが検出された場合に、重なりに応じて変形されたズボンを撮像画像に合成すればよい。図7には、画像処理部112により、シャツとズボンとの重なりが検出されていないため、ズボン全体が撮像画像131Cに合成された撮像画像131C’が示されている。シャツとズボンとの重なりは、検出部111により検出されるが、検出手法は特に限定されない。
【0067】
例えば、撮像画像に映る物体と所定の物体との重なりは、撮像画像に映る物体と所定の物体との境界線の位置に基づいて検出され得る。例えば、検出部111は、シャツとズボンとの境界線の位置が被写体21の腰の位置であるか否かを判定し、当該境界線の位置が被写体21の腰の位置であると判定した場合には、被写体20はズボンの内側にシャツをしまっていると予想されるため、シャツとズボンとの重なりを検出してもよい。検出部111は、撮像画像に映っている物体のうち白い領域をシャツの領域として扱い、シャツの領域の下端をシャツとズボンとの境界線として扱ってもよい。腰の位置は、撮像画像から判定されてもよいし、骨格情報から判定されてもよい。また、腰の位置は、腰付近の位置を含んでいてもよい。
【0068】
また、例えば、検出部111は、境界線の位置が被写体21の腰の位置であり、かつ、境界線が直線に類似している場合に、シャツとズボンとの重なりを検出してもよい。例えば、検出部111は、シャツの領域の下端を複数の点で近似し、この複数の点を順に結んで得られる線が直線に類似している場合に、シャツとズボンとの重なりを検出してもよい。類似の範囲は、あらかじめ定めておくことができる。このように、検出部111は、シャツとズボンとの境界線の位置に基づいて、シャツとズボンとの重なりを検出することができる。
【0069】
図8は、画像処理部112が有する機能の変形例を説明するための図である。図8には、撮像画像131Dに映る物体の例として物体31Dが示され、撮像画像131Dに映る所定の物体の例として物体32Dが示されている。また、図8に示した例では、物体31Dはシャツであり、物体32Dはズボンであり、物体33Dはズボンであるが、物体31D、物体32Dおよび物体33Dは、特に限定されない。
【0070】
上記したように、画像処理部112は、シャツとズボンとの重なりが検出された場合に、重なりに応じて変形されたズボンを撮像画像に合成すればよい。図8には、画像処理部112により、シャツとズボンとの重なりが検出されたため、ズボンの一部が撮像画像131Cに合成された撮像画像131D’が示されている。シャツとズボンとの重なりは、検出部111により検出されるが、検出手法は特に限定されない。検出手法の例については、上記した通りである。
【0071】
以上、図7および図8を参照しながら、本開示の実施形態に係る画像処理装置100が有する機能の第1の変形例を説明した。以下、図9を参照しながら、第1の変形例に係る画像処理装置100の動作の流れを説明する。
【0072】
<5.第1の変形例における動作>
図9は、第1の変形例に係る画像処理装置100の動作の流れを示すフローチャートである。なお、図9を参照しながら説明する画像処理装置100の動作は、特に、被写体20が着用しているシャツの状態を検出する場合における画像処理装置100の動作である。被写体20が着用しているシャツは、撮像画像に映る物体の一例である。
【0073】
図9に示すように、まず、検出部111は、シャツを検出しない場合には(ステップS21で「No」)、ステップS21に戻る。一方、検出部111は、シャツを検出した場合には(ステップS21で「Yes」)、そのシャツの状態を検出する。画像処理部112は、被写体21がシャツをズボンの内側にしまっていることが検出された場合には(ステップS22で「Yes」)、ズボン全体を撮像画像に重畳する(ステップS23)。
【0074】
一方、画像処理部112は、被写体21がシャツをズボンの外に出していることが検出された場合には(ステップS22で「No」)、ズボンのうちシャツに重ならない部分を撮像画像に重畳する(ステップS24)。画像処理部112により処理された撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御されてもよい。
【0075】
以上、図9を参照しながら、第1の変形例に係る画像処理装置100の動作の流れについて説明した。
【0076】
<6.第2の変形例における機能>
続いて、画像処理部112が有する機能の第2の変形例について、図10〜図12を参照しながら説明を行う。図10は、画像処理部112が有する機能の第2の変形例を説明するための図である。
【0077】
例えば、画像処理部112は、撮像画像に映る物体の種類が検出された場合に、撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを撮像画像に合成する処理により撮像画像に仮想オブジェクトを合成してもよい。また、画像処理部112は、撮像画像に映る物体の種類が検出された場合に、撮像画像に映る物体の種類に応じた形状に撮像画像に映る他の物体を変形することにより撮像画像に仮想オブジェクトを合成してもよい。
【0078】
図10には、撮像画像131Eに映る物体の例として物体31Eが示され、撮像画像131Eに映る他の物体の例として物体32Eが示されている。また、図10には、他の物体の例として物体33Eが示されている。図10に示した例では、物体31Eは垂直方向の長さが短いネックレス(例えば、垂直方向の長さx1が閾値よりも短いネックレス)であり、物体32Eは被写体21が着用している服であり、物体33Eはラウンドネックの服であるが、物体31E、物体32Eおよび物体33Cは、特に限定されない。
【0079】
撮像画像131Eにおいては、被写体21が垂直方向の長さが短いネックレスを着用中である。被写体20は、表示された撮像画像131Eを見ることにより、垂直方向の長さが短いネックレスを着用したときの見た目を把握することができる。しかし、例えば、被写体20が店内でネックレスを試着している場合には、ネックレスにふさわしい服を着ているとは限らない。このため、被写体20は、撮像画像131Eによりネックレスにふさわしい服を着用し直したときの見た目とは異なった見た目を把握することになってしまう。
【0080】
そこで、画像処理部112は、検出されたアクセサリの種類に応じて、服の形状を変更すればよい。図10には、垂直方向の長さが短いネックレスが検出されたため、画像処理部112により、服の形状がラウンドネックに変更された撮像画像131E’が示されている。アクセサリの種類は、検出部111により検出されるが、検出手法は特に限定されない。例えば、アクセサリの種類は、上記したような物体の種類を認識する手法により検出され得る。
【0081】
服の形状を変更する手法も特に限定されない。例えば、画像処理部112は、垂直方向の長さが短いネックレスが検出された場合に、垂直方向の長さが短いネックレスに対応するラウンドネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部112は、垂直方向の長さが短いネックレスが検出された場合に、垂直方向の長さが短いネックレスに応じた形状であるラウンドネック形状に撮像画像131Eに映る服を変形することにより服の形状を変更してもよい。
【0082】
なお、図10に示した例では、被写体20が実空間に存在するアクセサリを着用しているが、仮想オブジェクトであるアクセサリが被写体21に重畳されている場合にも、服の形状を変更する処理が実行され得る。
【0083】
図11は、画像処理部112が有する機能の第2の変形例を説明するための図である。図11には、撮像画像131Fに映る物体の例として物体31Fが示され、撮像画像131Fに映る他の物体の例として物体32Fが示されている。また、図11には、他の物体の例として物体33Fが示されている。図11に示した例では、物体31Fは垂直方向の長さが長いネックレス(例えば、垂直方向の長さx2が閾値よりも長いネックレス)であり、物体32Fは被写体21が着用している服であり、物体33FはVネックの服であるが、物体31F、物体32Fおよび物体33Fは、特に限定されない。
【0084】
図11には、垂直方向の長さが長いネックレスが検出されたため、画像処理部112により、服の形状がVネックに変更された撮像画像131F’が示されている。例えば、画像処理部112は、垂直方向の長さが長いネックレスが検出された場合に、垂直方向の長さが長いネックレスに対応するVネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部112は、垂直方向の長さが長いネックレスが検出された場合に、垂直方向の長さが長いネックレスに応じた形状であるVネック形状に撮像画像131Fに映る服を変形することにより服の形状を変更してもよい。
【0085】
図12は、画像処理部112が有する機能の第2の変形例を説明するための図である。図12には、撮像画像131Gに映る物体の例として物体31Gが示され、撮像画像131Fに映る他の物体の例として物体32Gが示されている。また、図12には、他の物体の例として物体33Gが示されている。図12に示した例では、物体31Gはピアスであり、物体32Gは被写体21が着用している服であり、物体33Gはボートネックの服であるが、物体31G、物体32Gおよび物体33Gは、特に限定されない。
【0086】
図12には、ピアスが検出されたため、画像処理部112により、服の形状がボートネックに変更された撮像画像131G’が示されている。例えば、画像処理部112は、ピアスが検出された場合に、ピアスに対応するボートネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部112は、ピアスが検出された場合に、ピアスに対応する形状であるボートネック形状に撮像画像131Gに映る服を変形することにより服の形状を変更してもよい。
【0087】
以上、図10〜図12を参照しながら、本開示の実施形態に係る画像処理装置100が有する機能の第2の変形例を説明した。以下、図13を参照しながら、第2の変形例に係る画像処理装置100の動作の流れを説明する。
【0088】
<7.第2の変形例における動作>
図13は、第2の変形例に係る画像処理装置100の動作の流れを示すフローチャートである。なお、図13を参照しながら説明する画像処理装置100の動作は、特に、被写体20が着用しているアクセサリの種類を検出する場合における画像処理装置100の動作である。被写体20が着用しているアクセサリは、撮像画像に映る物体の一例である。
【0089】
図13に示すように、まず、検出部111は、撮像画像に映るアクセサリの種類を検出する。検出部111は、撮像画像からネックレスを検出した場合には(ステップS31で「Yes」)、ネックレスの垂直方向の長さを検出する。画像処理部112は、検出部111によりネックレスの垂直方向の長さが短いことが検出された場合には(ステップS32で「Yes」)、撮像画像に映っている服の形状をラウンドネックに変更する(ステップS33)。
【0090】
一方、画像処理部112は、検出部111によりネックレスの垂直方向の長さが長いことが検出された場合には(ステップS32で「No」)、撮像画像に映っている服の形状をVネックに変更する(ステップS34)。画像処理部112は、検出部111により撮像画像からネックレスが検出されない場合(ステップS31で「No」)、撮像画像からピアスを検出した場合には(ステップS35で「Yes」)、撮像画像に映っている服の形状をボートネックに変更する(ステップS36)。画像処理部112により処理された撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御されてもよい。
【0091】
以上、図13を参照しながら、第2の変形例に係る画像処理装置100の動作の流れについて説明した。
【0092】
<8.第3の変形例における機能>
続いて、画像処理部112が有する機能の第3の変形例について、図14〜図16を参照しながら説明を行う。図14は、画像処理部112が有する機能の第3の変形例を説明するための図である。
【0093】
図14には、撮像画像131Hに映る物体の例として物体31Hが示されている。また、図14には、他の物体の例として物体33Hが示されている。図14に示した例では、物体31Hはボートネックの服であり、物体33Hはピアスであるが、物体31Hおよび物体33Hは、特に限定されない。
【0094】
撮像画像131Hにおいては、被写体21は服を着用しているが、アクセサリを着用していない。例えば、被写体21が着用している服にふさわしいアクセサリが撮像画像131Hに合成されれば、被写体20は、そのアクセサリが合成された撮像画像を見ることにより、着用している服にふさわしいアクセサリを把握することができる。さらに、被写体20は、そのアクセサリを気に入る可能性が高い。
【0095】
そこで、画像処理部112は、検出された服の種類に応じて、撮像画像に合成するアクセサリの種類を変更すればよい。図14には、ボートネックの服が検出されたため、画像処理部112により、ピアスが合成された撮像画像131H’が示されている。ここで合成されるピアスは、垂れ下がるタイプのピアスがより好ましい。ピアスにより縦長のラインを作ると全体のバランスが良くなることが期待されるからである。服の種類は、検出部111により検出されるが、検出手法は特に限定されない。例えば、服の種類は、上記したような物体の種類を認識する手法により検出され得る。
【0096】
なお、図14に示した例では、被写体20が実空間に存在する服を着用しているが、仮想オブジェクトである服が被写体21に重畳されている場合にも、アクセサリの種類を変更する処理が実行され得る。
【0097】
図15は、画像処理部112が有する機能の第3の変形例を説明するための図である。図15には、撮像画像131Iに映る物体の例として物体31Iが示されている。また、図15には、他の物体の例として物体33Iが示されている。図15に示した例では、物体31IはVネックの服であり、物体33Iは垂直方向の長さが長いネックレスであるが、物体31Iおよび物体33Iは、特に限定されない。
【0098】
図15には、Vネックの服が検出されたため、画像処理部112により、垂直方向の長さが長いネックレスが合成された撮像画像131I’が示されている。
【0099】
図16は、画像処理部112が有する機能の第3の変形例を説明するための図である。図16には、撮像画像131Jに映る物体の例として物体31Jが示されている。また、図16には、他の物体の例として物体33Jが示されている。図16に示した例では、物体31Jはラウンドネックの服であり、物体33Jは垂直方向の長さが短いネックレスであるが、物体31Jおよび物体33Jは、特に限定されない。
【0100】
図16には、ラウンドネックの服が検出されたため、画像処理部112により、垂直方向の長さが短いネックレスが合成された撮像画像131J’が示されている。
【0101】
<9.第3の変形例における動作>
図17は、第3の変形例に係る画像処理装置100の動作の流れを示すフローチャートである。なお、図17を参照しながら説明する画像処理装置100の動作は、特に、被写体20が着用している服の種類を検出する場合における画像処理装置100の動作である。被写体20が着用している服は、撮像画像に映る物体の一例である。
【0102】
図17に示すように、まず、検出部111は、撮像画像に映る服の種類を検出する。画像処理部112は、その服の形状がボートネックであることが検出部111により検出された場合には(ステップS41で「Yes」)、ピアスを撮像画像に重畳する(ステップS33)。一方、画像処理部112は、その服の形状がボートネックではないことが検出部111により検出された場合には(ステップS41で「No」)、ステップS43に進む。
【0103】
画像処理部112は、その服の形状がVネックであることが検出部111により検出された場合には(ステップS43で「Yes」)、垂直方向の長さが長いネックレスを撮像画像に重畳する(ステップS44)。一方、画像処理部112は、その服の形状がVネックではないことが検出部111により検出された場合には(ステップS43で「No」)、ステップS45に進む。
【0104】
画像処理部112は、その服の形状がラウンドネックであることが検出部111により検出された場合には(ステップS45で「Yes」)、垂直方向の長さが短いネックレスを撮像画像に重畳する(ステップS46)。画像処理部112により処理された撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御されてもよい。
【0105】
以上、図17を参照しながら、第3の変形例に係る画像処理装置100の動作の流れについて説明した。
【0106】
<10.むすび>
以上説明したように、本開示の実施形態によれば、撮像画像に仮想オブジェクトを合成する画像処理部を備え、画像処理部は、撮像画像に映る物体の状態または種類に基づいて仮想オブジェクトを決定する、画像処理装置が提供される。かかる画像処理装置によれば、撮像画像に映る物体の状態または種類を考慮して仮想オブジェクトを決定することができる。かかる画像処理装置によれば、例えば、撮像画像に映る服のうち他の服からはみ出ている部分を消去したり、ユーザの服の着こなし方を反映するように新たな服を合成したりすることができる。また、ユーザが着用している服に合うようなアクセサリを撮像画像に合成したり、ユーザが着用しているアクセサリに合うような形状に服を変更したりすることができる。
【0107】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0108】
例えば、画像処理部112を備える画像処理装置100は、サーバに備えられていてもよいし、サーバと通信可能な端末に備えられていてもよい。また、例えば、上記では、物体の状態または種類を検出する機能を、画像処理装置100が有する例を主に説明したが、かかる機能は、画像処理装置100の代わりに他の装置が有していてもよい。例えば、かかる機能は、センサ部150が有していてもよい。例えば、画像処理装置100が撮像画像を他の装置に送信した場合、他の装置は画像処理装置100の代わりに撮像画像から物体の状態または種類を検出してもよい。
【0109】
また、例えば、上記では、表示制御部113は、画像処理装置100に備えられている例を主に説明したが、表示制御部113は、画像処理装置100の代わりに他の装置が有していてもよい。例えば、画像処理部112はサーバに備えられており、表示制御部113は端末に備えられていてもよい。例えば、サーバにより処理された撮像画像が端末に送信された場合、端末はその撮像画像が表示部130に表示されるように表示部130を制御してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
【0110】
また、例えば、第3の変形例では、画像処理部112が、アクセサリの種類に応じて服の形状を変更したり、服の形状に応じてアクセサリの種類を変更したりする例を主に説明した。すなわち、アクセサリの種類と服の形状との相性を考慮して仮想オブジェクトを決定することとした。しかし、アクセサリと服の形状との組み合わせ以外にも、相性の良し悪しのある組み合わせは存在する。例えば、スカートの丈とブーツの丈との組み合わせにも相性の良し悪しが認められる。したがって、画像処理部112は、スカートの丈とブーツの丈との相性を考慮して仮想オブジェクトを決定することも可能である。同様に、画像処理部112は、靴の高さ(例えば、ヒールの高さ、ブーツの丈など)とズボンの丈との相性を考慮して仮想オブジェクトを決定することも可能である。
【0111】
また、画像処理部112は、検出部111によりベルトが検出された場合に、ベルトと一緒に被写体により着用されているワンピースのウェスト部分を絞るような画像処理を行ってもよい。被写体により着用されているワンピースは、撮像画像に重畳されていてもよいし、撮像画像に映っていてもよい。このような画像処理が行われれば、被写体がベルトによりワンピースを実際に絞る動作を行わなくても、ベルト付きでワンピースを着用したときの見た目を把握することができる。
【0112】
また、画像処理部112は、服同士の相性を考慮して仮想オブジェクトを決定してもよい。例えば、画像処理部112は、マフラーの着用が検出された場合には、マフラーと同時に着用されている服の袖を半袖から長袖に変更するように仮想オブジェクトを決定してもよい。このような画像処理が行われれば、例えば、服を試着する時期とその服を実際に着用する時期とが異なっても、その服を着用したときの見た目をより正確に把握することができる。
【0113】
また、本明細書の画像処理装置100の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置100の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【0114】
また、画像処理装置100に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した画像処理装置100の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【0115】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する、画像処理装置。
(2)
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
前記(1)に記載の画像処理装置。
(3)
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に重畳された所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
前記(1)に記載の画像処理装置。
(4)
前記撮像画像に映る物体と前記所定の物体との隣接は、前記撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出される、
前記(2)または前記(3)に記載の画像処理装置。
(5)
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との重なりが検出された場合に、前記重なりに応じて変形された仮想オブジェクトを前記撮像画像に合成する、
前記(1)に記載の画像処理装置。
(6)
前記撮像画像に映る物体と前記所定の物体との重なりは、前記撮像画像に映る物体と前記所定の物体との境界線の位置に基づいて検出される、
前記(5)に記載の画像処理装置。
(7)
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを前記撮像画像に合成する、
前記(1)に記載の画像処理装置。
(8)
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じた形状に前記撮像画像に映る他の物体を変形することにより前記撮像画像に仮想オブジェクトを合成する、
前記(1)に記載の画像処理装置。
(9)
前記画像処理装置は、
前記撮像画像に映る物体の状態または種類を検出する検出部をさらに備える、
前記(1)に記載の画像処理装置。
(10)
前記画像処理装置は、
前記画像処理部により処理された後の画像が表示部に表示されるように前記表示部を制御する表示制御部をさらに備える、
前記(1)に記載の画像処理装置。
(11)
撮像画像に映る物体の状態または種類に基づいて、前記撮像画像に合成される前記仮想オブジェクトを決定することを含む、画像処理方法。
(12)
コンピュータを、
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラム。
【符号の説明】
【0116】
10 画像処理システム
100 画像処理装置
110 制御部
111 検出部
112 画像処理部
113 表示制御部
120 記憶部
130 表示部
131(131A〜131J) 撮像画像
140 撮像部
150 センサ部
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、撮像により得られた画像(以下、「撮像画像」とも言う。)に各種のオブジェクトを合成する技術が知られている。撮像画像には様々なオブジェクトが合成され得るが、例えば、被写体(例えば、人物や動物など)が撮像される場合にはその被写体が身に着ける物(例えば、衣装や鞄など)の画像がオブジェクトとして撮像画像に合成され得る。撮像画像に対してオブジェクトを合成する技術としては、様々な技術が開示されている。
【0003】
例えば、衣装画像を人物画像に合成する技術が開示されている(例えば、特許文献1参照)。このように人物画像に衣装画像が合成されることにより得られる合成画像を見れば、実際に衣装を試着しなくても自分が衣装を着たときの見た目を把握しながら衣装を選択することができる。
【0004】
一方、撮像画像にオブジェクトを合成する技術ばかりではなく、撮像画像自体を変形する技術も存在する。撮像画像自体を変形する技術の一例としては、減損現実(Diminished Reality)という技術が存在する。かかる技術によれば、撮像画像に映っている物体がユーザにより指定されると、指定された物体が撮像画像から消去される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−136841号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、例えば、撮像画像に映る物体の状態または種類に基づいた画像処理を行う技術は開示されていない。そのため、物体の状態や物体の種類が考慮されずに撮像画像が処理される可能性があった。例えば、撮像画像に映るユーザが身体に衣装を当てている場合、既にユーザが着用している服が衣装からはみ出しても、はみ出している部分を撮像画像から自動的に消去することができなかった。
【0007】
また、撮像画像に映るユーザがどのように衣装を着こなしているかによって撮像画像に合成されるオブジェクトを調整したり、撮像画像に映るユーザがどのようなアクセサリを身に着けているかによって撮像画像に合成されるオブジェクトを変更したりすることができなかった。したがって、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する技術が実現されることが望ましい。
【課題を解決するための手段】
【0008】
本開示によれば、撮像画像に仮想オブジェクトを合成する画像処理部を備え、前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する、画像処理装置が提供される。
【0009】
また、本開示によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する撮像画像を処理することを含む、画像処理方法が提供される。
【0010】
また、本開示によれば、コンピュータを、撮像画像に仮想オブジェクトを合成する画像処理部を備え、前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【0011】
以上説明したように本開示によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定することが可能である。
【図面の簡単な説明】
【0012】
【図1】本開示の実施形態に係る画像処理システムの概要を説明するための図である。
【図2】画像処理装置の構成例を示すブロック図である。
【図3】骨格情報および深度情報を説明するための図である。
【図4】画像処理部が有する機能の一例を説明するための図である。
【図5】画像処理部が有する機能の一例を説明するための図である。
【図6】画像処理装置の動作の流れの一例を示すフローチャートである。
【図7】画像処理部が有する機能の第1の変形例を説明するための図である。
【図8】画像処理部が有する機能の第1の変形例を説明するための図である。
【図9】第1の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【図10】画像処理部が有する機能の第2の変形例を説明するための図である。
【図11】画像処理部が有する機能の第2の変形例を説明するための図である。
【図12】画像処理部が有する機能の第2の変形例を説明するための図である。
【図13】第2の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【図14】画像処理部が有する機能の第3の変形例を説明するための図である。
【図15】画像処理部が有する機能の第3の変形例を説明するための図である。
【図16】画像処理部が有する機能の第3の変形例を説明するための図である。
【図17】第3の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0015】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.画像処理システムの概要
2.画像処理装置が有する機能
3.画像処理装置の動作
4.第1の変形例における機能
5.第1の変形例における動作
6.第2の変形例における機能
7.第2の変形例における動作
8.第3の変形例における機能
9.第3の変形例における動作
10.むすび
【0016】
<1.画像処理システムの概要>
以下では、まず、本開示の実施形態に係る画像処理システムの概要について図1を参照して説明する。
【0017】
図1は、本開示の実施形態に係る画像処理システムの概要を説明するための図である。図1に示したように、本開示の実施形態に係る画像処理システム10は、画像処理装置100と表示部130と撮像部140とセンサ部150とを含む。画像処理システム10が設置される場所は特に限定されない。例えば、画像処理システム10は、被写体20の自宅内に設置されてもよい。
【0018】
また、図1に示した例では、画像処理システム10を構成する複数のブロック(例えば、画像処理装置100、表示部130、撮像部140およびセンサ部150)が別体に構成されているが、画像処理システム10を構成する複数のブロックのいずれかの組み合わせが一体化されていてもよい。例えば、画像処理システム10を構成する複数のブロックは、スマートフォン、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【0019】
撮像部140は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図1に示した例では、実空間に存在する物体として被写体20(例えば、人物)が撮像部140により撮像される。撮像部140により撮像された画像(以下、「撮像画像」とも言う。)は表示部130により表示され得る。表示部130により表示される撮像画像は、RGB画像であってもよい。図1に示した例では、被写体21が映った撮像画像131が表示部130により表示されている。
【0020】
センサ部150は、実空間からパラメータを検出する機能を有している。例えば、センサ部150が赤外線センサにより構成されている場合、センサ部150は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして画像処理装置100に供給することができる。画像処理装置100は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ部150の種類は、赤外線センサに限定されない。なお、図1に示した例では、検出データがセンサ部150から画像処理装置100に供給されることとしているが、画像処理装置100に供給される検出データは、撮像部140により撮像された画像であってもよい。
【0021】
撮像画像は、画像処理装置100により処理される。例えば、画像処理装置100は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成することにより撮像画像を処理することができる。表示部130は、画像処理装置100により処理された後の撮像画像を表示することも可能である。例えば、画像処理装置100により被写体21の位置が認識された場合には、被写体21の位置に仮想オブジェクト(例えば、衣装画像)が合成された撮像画像が、表示部130により表示され得る。仮想オブジェクトの合成は、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより行われてもよいし、撮像画像を変形することにより(例えば、撮像画像からキャプチャされた画像を撮像画像に重畳することにより)行われてもよい。
【0022】
被写体20は、このように処理された撮像画像を見ることにより、実際に衣装を試着しなくても自分が衣装を着たときの見た目を把握しながら衣装を選択することができる。しかし、例えば、被写体20が身に着けている衣装の状態または種類に応じた画像処理を行う技術は開示されていない。そのため、被写体20が身に着けている衣装の状態または種類が考慮されていない仮想オブジェクトが被写体21に合成される可能性があった。したがって、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する技術が実現されることが望まれる。
【0023】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定することができる。以下、図2〜5を参照しながら、本開示の実施形態に係る画像処理装置100が有する機能を説明する。
【0024】
<2.画像処理装置が有する機能>
図2は、画像処理装置100の構成例を示すブロック図である。図2を参照すると、画像処理装置100は、制御部110および記憶部120を備える。制御部110は、検出部111、画像処理部112および表示制御部113を備える。画像処理装置100には、表示部130、撮像部140およびセンサ部150が接続されている。
【0025】
(制御部)
制御部110は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部110は、記憶部120または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部110の様々な機能を動作させる。なお、制御部110を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置(例えば、サーバ)に組み込まれていてもよい。
【0026】
(記憶部)
記憶部120は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、画像処理装置100による処理のためのプログラムおよびデータを記憶する。例えば、制御部110としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部120は、制御部110により使用されるデータを記憶する。例えば、記憶部120は、物体認識のために使用される特徴量辞書および表示対象となる仮想オブジェクトを記憶することができる。
【0027】
(表示部)
表示部130は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本開示の実施形態においては、表示部130が画像処理装置100と別体に構成されていることを想定しているが、表示部130は、画像処理装置100の一部であってもよい。
【0028】
(撮像部)
撮像部140は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、撮像部140が画像処理装置100と別体に構成されていることを想定しているが、撮像部140は、画像処理装置100の一部であってもよい。
【0029】
(センサ部)
センサ部150は、実空間からパラメータを検出する機能を有している。例えば、センサ部150が赤外線センサにより構成されている場合、センサ部150は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして画像処理装置100に供給することができる。センサ部150の種類は、赤外線センサに限定されない。なお、撮像部140により撮像された画像が検出データとして画像処理装置100に供給される場合には、センサ部150は存在しなくてもよい。
【0030】
(検出部)
検出部111は、検出データに基づいて撮像画像に映る物体の状態または種類を検出する。検出部111により検出される物体の状態または種類の例については後に説明するが、検出部111により検出される物体の状態または種類は特に限定されない。また、撮像画像に映る物体の状態または種類を検出する手法は特に限定されない。例えば、検出部111は、撮像画像から決定される特徴量を物体の特徴量と照合することにより、撮像画像に含まれる物体の状態または種類を検出することができる。
【0031】
より具体的には、検出部111は、SIFT法またはRandom Ferns法などの特徴量決定法に従って撮像画像内の特徴量を決定し、決定した特徴量を物体の特徴量と照合する。そして、検出部111は、撮像画像内の特徴量と最も適合する特徴量と関連付けられている物体の種類(例えば、物体を識別するための情報)、撮像画像における物体の状態(例えば、物体の位置および姿勢)を認識する。
【0032】
ここで、検出部111により、物体の特徴量データと物体の種類を識別するための情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶部120により記憶されていてもよいし、サーバから受信されてもよい。物体の特徴量データは、例えば、SIFT法またはRandom Ferns法に従って物体の学習用画像から決定された特徴量の集合であってもよい。
【0033】
あるいは、検出部111は、撮像画像の代わりにセンサ部150から供給される検出データから決定される特徴量を物体の特徴量と照合することにより、物体の状態または種類を検出することもできる。このとき、例えば、検出部111は、撮像画像から物体の状態または種類を検出する手法と同様の手法により、センサ部150から供給される検出データに基づいて物体の状態または種類を検出することができる。
【0034】
以上に説明したような手法により、検出データに基づいて撮像画像に映る物体の状態または種類を検出することができる。検出部111は、画像処理装置100の代わりにセンサ部150に組み込まれていてもよい。
【0035】
検出部111は、物体を認識する場合と同様に、撮像画像から決定される特徴量を物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。あるいは、検出部111は、撮像画像の代わりにセンサ部150から供給される検出データから決定される特徴量を物体の部位ごとの特徴量と照合することにより、物体の部位を認識することができる。
【0036】
物体の状態を検出するために、公知技術(例えば、Microsoft(登録商標)社が開発したKinect(登録商標))を使用することもできる。かかる公知技術を使用すれば、検出部111は、被写体20を構成する1以上の部位の各々の位置を示す座標の例として、骨格情報を取得することができる。検出部111は、骨格情報に基づいて、被写体20の状態を検出することができる。あるいは、検出部111は、骨格情報および深度情報に基づいて、被写体20の状態を検出することができる。まず、この骨格情報および深度情報について、図3を参照しながら説明する。
【0037】
図3は、骨格情報および深度情報を説明するための図である。検出部111は、上記公知技術を使用することにより、図3に示すような骨格情報を取得することができる。図3に示した例では、骨格情報は、被写体20を構成する15の部位の位置を示す座標B1〜B3、B6、B7、B9、B12、B13、B15、B17、B18、B20〜B22、B24として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【0038】
なお、座標B1は「Head」の座標を示し、座標B2は「Neck」の座標を示し、座標B3は「Torso」の座標を示し、座標B6は「Left Shoulder」の座標を示し、座標B7は「Left Elbow」の座標を示している。また、座標B9は「Left Hand」の座標を示し、座標B12は「Right Shoulder」の座標を示し、座標B13は「Right Elbow」の座標を示し、座標B15は「Right Hand」の座標を示している。
【0039】
座標B17は「Left Hip」の座標を示し、座標B18は「Left Knee」の座標を示し、座標B20は「Left Foot」の座標を示し、座標B21は「Right Hip」の座標を示している。座標B22は「Right Knee」の座標を示し、座標B24は「Right Foot」の座標を示している。
【0040】
また、検出部111は、上記公知技術を使用することにより、図3に示すような深度情報を取得することもできる。深度情報はセンサ部150からの距離を示す情報であり、図3には、簡単のため、深度が閾値よりも低い領域(センサ部150からの距離が閾値よりも小さい領域)である物体存在領域Rとその他の領域R’とが深度情報の一例として示されている。
【0041】
(画像処理部)
画像処理部112は、撮像画像に映る物体の状態または種類に基づいて撮像画像を処理する。撮像画像に映る物体の状態または種類は、上記したように、検出部111により検出され得る。画像処理部112がどのように撮像画像を処理するかについては特に限定されない。例えば、上記したように、画像処理部112は、撮像画像に映る物体の状態または種類に基づいて、撮像画像に対して仮想オブジェクトを合成することにより撮像画像を処理することができる。上記したように、仮想オブジェクトの合成は、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより行われてもよいし、撮像画像を変形することにより(例えば、撮像画像からキャプチャされた画像を撮像画像に重畳することにより)行われてもよい。
【0042】
続いて、画像処理部112が有する機能の一例について、図4および図5を参照しながら説明を行う。図4は、画像処理部112が有する機能の一例を説明するための図である。
【0043】
例えば、画像処理部112は、撮像画像に映る物体と撮像画像に映る所定の物体との隣接が検出された場合に、撮像画像に映る物体を他の物体に置換する処理により撮像画像に仮想オブジェクトを合成してもよい。図4には、撮像画像131Aに映る物体の例として物体31Aが示され、撮像画像131Aに映る所定の物体の例として物体32Aが示されている。また、図4には、他の物体の例として物体33Aが示されている。また、図4に示した例では、物体31Aはスカートであり、物体32Aはズボンであり、物体33Aが脚であるが、物体31A、物体32Aおよび物体33Aは、特に限定されない。
【0044】
撮像画像131Aにおいては、被写体21がズボンを着用中であり、ズボンの上にスカートを当てている。被写体20は、表示された撮像画像131Aを見ることにより、スカートを着用したときの見た目を把握することができる。しかし、撮像画像131Aにおいては、スカートの下からズボンがはみ出てしまっている一方、実際にスカートを着用したときにはスカートの下から脚がはみ出るはずである。このため、被写体20は、撮像画像131Aにより実際にスカートを着用したときの見た目とは異なった見た目を把握することになってしまう。
【0045】
そこで、画像処理部112は、スカートとズボンとの隣接が検出された場合に、ズボンを脚(例えば、肌色部分)に置換すればよい。図4には、画像処理部112により、ズボンのうちスカートからはみ出た部分が消され、当該部分が脚に置換された撮像画像131A’が示されている。スカートとズボンとの隣接は、検出部111により検出されるが、検出手法は特に限定されない。
【0046】
例えば、撮像画像に映る物体と所定の物体との隣接は、撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出され得る。例えば、検出部111は、スカートからはみ出ている部分の形状が脚の形状であるか否かを判定し、当該部分が脚の形状ではないと判定した場合には、スカートからズボンがはみ出ていると予想されるため、スカートとズボンとの隣接を検出してもよい。
【0047】
また、例えば、検出部111は、スカートからはみ出ている部分の色が脚の色(例えば、肌色)であるか否かを判定し、当該部分が脚の色ではないと判定した場合には、スカートからズボンがはみ出ていると予想されるため、スカートとズボンとの隣接を検出してもよい。さらに、検出部111は、スカートからはみ出ている部分の色が脚の色であると判定した場合であっても、脚の色である部分が閾値を超えるサイズを有していない場合には、脚の色である部分が脚ではないと予想されるため、スカートとズボンとの隣接を検出してもよい。
【0048】
このように、検出部111は、スカートからはみ出ている部分の形状または色に基づいて、スカートとズボンとの隣接を検出することができる。脚の形状や脚の色は、あらかじめ登録されていてもよいし、学習により蓄積されていってもよい。なお、画像処理部112は、撮像画像に映る物体と撮像画像に重畳された所定の物体との隣接が検出された場合に、撮像画像に映る物体を他の物体に置換する処理により撮像画像に仮想オブジェクトを合成してもよい。図4に示した例では、被写体20が実空間に存在するスカートを身体に当てているが、仮想オブジェクトであるスカートが被写体21の身体に当てられている場合にも、ズボンのうちスカートからはみ出ている部分を消す処理が実行され得る。
【0049】
図5は、画像処理部112が有する機能の一例を説明するための図である。図5には、撮像画像131Bに映る物体の例として物体31Bが示され、撮像画像131Bに映る所定の物体の例として物体32Bが示されている。また、図5には、他の物体の例として物体33Bが示されている。また、図5に示した例では、物体31Bは半袖シャツであり、物体32Bは長袖シャツであり、物体33Bが腕であるが、物体31B、物体32Bおよび物体33Bは、特に限定されない。
【0050】
撮像画像131Bにおいては、被写体21が長袖シャツを着用中であり、長袖シャツの上に半袖シャツを当てている。被写体20は、表示された撮像画像131Bを見ることにより、半袖シャツを着用したときの見た目を把握することができる。しかし、撮像画像131Bにおいては、半袖シャツの下から長袖シャツがはみ出てしまっている一方、実際に半袖シャツを着用したときには半袖シャツの下から腕がはみ出るはずである。このため、被写体20は、撮像画像131Bにより実際に半袖シャツを着用したときの見た目とは異なった見た目を把握することになってしまう。
【0051】
そこで、画像処理部112は、長袖シャツと半袖シャツとの隣接が検出された場合に、長袖シャツを腕(例えば、肌色部分)に置換すればよい。図5には、画像処理部112により、長袖シャツのうち半袖シャツからはみ出た部分が消され、当該部分が腕に置換された撮像画像131B’が示されている。長袖シャツと半袖シャツとの隣接は、検出部111により検出されるが、検出手法は特に限定されない。例えば、検出部111は、半袖シャツからはみ出ている部分の形状が腕の形状であるか否かを判定し、当該部分が腕の形状ではないと判定した場合には、半袖シャツから長袖シャツがはみ出ていると予想されるため、長袖シャツと半袖シャツとの隣接を検出してもよい。
【0052】
また、例えば、検出部111は、半袖シャツからはみ出ている部分の色が脚の色(例えば、肌色)であるか否かを判定し、当該部分が腕の色ではないと判定した場合には、半袖シャツから長袖シャツがはみ出ていると予想されるため、半袖シャツと長袖シャツとの隣接を検出してもよい。さらに、検出部111は、半袖シャツからはみ出ている部分の色が腕の色であると判定した場合であっても、腕の色である部分が閾値を超えるサイズを有していない場合には、腕の色である部分が腕ではないと予想されるため、半袖シャツと長袖シャツとの隣接を検出してもよい。
【0053】
このように、検出部111は、半袖シャツからはみ出ている部分の形状または色に基づいて、半袖シャツと長袖シャツとの隣接を検出することができる。脚の形状や脚の色は、あらかじめ登録されていてもよいし、学習により蓄積されていってもよい。なお、図5に示した例では、被写体20が実空間に存在する半袖シャツを身体に当てているが、仮想オブジェクトである半袖シャツが被写体21の身体に当てられている場合にも、長袖シャツのうち半袖シャツからはみ出ている部分を消す処理が実行され得る。
【0054】
なお、服からはみ出ている部分が存在した場合であっても、当該部分が消されない方が好ましい場合もある。例えば、被写体20が着用中のシャツの上にジャケットを重ね着したときにシャツが消去されない状態での見た目を把握したい場合などである。このような要求を満たすため、例えば、撮像画像に映る物体が所定の位置で撮像画像に映る所定の物体と隣接している場合には、撮像画像に映る所定の物体が他の物体に置換されないようにしてもよい。
【0055】
例えば、画像処理部112は、ジャケットからシャツがはみ出ており、はみ出ている部分が被写体21の首であれば、撮像画像に映る所定の物体を首(例えば、肌色部分)に置換しないようにすればよい。したがって、画像処理部112は、隣接位置が所定の位置(例えば、腕の位置、脚の位置など)である場合には、撮像画像に映る物体に隣接する物体を他の物体に置換し、隣接位置がその他の位置(例えば、首の位置など)である場合には、撮像画像に映る物体に隣接する物体を他の物体に置換しないようにしてもよい。隣接位置は、撮像画像から判定されてもよいし、骨格情報から判定されてもよい。
【0056】
(表示制御部)
画像処理部112により仮想オブジェクトが合成された後の撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御される。
【0057】
以上、図4および図5を参照しながら、本開示の実施形態に係る画像処理装置100が有する機能の一例を説明した。以下、図6を参照しながら、本開示の実施形態に係る画像処理装置100の動作の流れの一例を説明する。
【0058】
<3.画像処理装置の動作>
図6は、本開示の実施形態に係る画像処理装置100の動作の流れの一例を示すフローチャートである。なお、図6を参照しながら説明する画像処理装置100の動作は、特に、被写体20が着用している服の状態を検出する場合における画像処理装置100の動作である。被写体20が着用している服は、撮像画像に映る物体の一例である。
【0059】
図6に示すように、まず、検出部111は、被写体21が服を身体に当てていない場合には(ステップS11で「No」)、ステップS11に戻る。一方、検出部111は、被写体21が服を身体に当てている場合には(ステップS11で「Yes」)、その服の状態を検出する。画像処理部112は、身体に当てられた服から他の服が被写体20の腕においてはみ出ていることが検出された場合には(ステップS12で「Yes」)、他の服のうち身体に当てられた服から腕においてはみ出ている部分を削除する(ステップS13)。
【0060】
一方、画像処理部112は、身体に当てられた服から他の服が被写体20の腕においてはみ出ていることが検出されない場合には(ステップS12で「No」)、ステップS14に進む。画像処理部112は、身体に当てられた服から他の服が被写体20の脚においてはみ出ていることが検出された場合には(ステップS14で「Yes」)、他の服のうち身体に当てられた服から脚においてはみ出ている部分を削除する(ステップS15)。
【0061】
一方、画像処理部112は、身体に当てられた服から他の服が被写体20の脚においてはみ出ていることが検出されない場合には(ステップS14で「No」)、他の服のうち身体に当てられた服から脚においてはみ出ている部分を削除しなくてよい。画像処理部112により処理された撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御されてもよい。
【0062】
以上、図6を参照しながら、画像処理装置100の動作の流れの一例について説明した。
【0063】
<4.第1の変形例における機能>
続いて、画像処理部112が有する機能の第1の変形例について、図7および図8を参照しながら説明を行う。図7は、画像処理部112が有する機能の第1の変形例を説明するための図である。
【0064】
例えば、画像処理部112は、撮像画像に映る物体と撮像画像に映る所定の物体との重なりが検出された場合に、重なりに応じて変形された仮想オブジェクトを撮像画像に合成してもよい。図7には、撮像画像131Cに映る物体の例として物体31Cが示され、撮像画像131Cに映る所定の物体の例として物体32Cが示されている。また、図7に示した例では、物体31Cはシャツであり、物体32Cはズボンであり、物体33Cはズボンであるが、物体31C、物体32Cおよび物体33Cは、特に限定されない。
【0065】
撮像画像131Cにおいては、被写体21がズボンおよびシャツを着用中である。被写体20は、撮像画像131Cにズボンが合成された撮像画像を見ることにより、ズボンを着用したときの見た目を把握することができる。しかし、ズボンの上にシャツを出しているか否かに関わらず、一律にズボン全体を撮像画像131Cに合成してしまうと、被写体20のズボンの着こなし方を自然に反映した撮像画像は得られない。このため、被写体20は、自分の着こなし方とは異なった着こなし方でズボンを着用した場合の見た目を把握することになってしまう。
【0066】
そこで、画像処理部112は、シャツとズボンとの重なりが検出された場合に、重なりに応じて変形されたズボンを撮像画像に合成すればよい。図7には、画像処理部112により、シャツとズボンとの重なりが検出されていないため、ズボン全体が撮像画像131Cに合成された撮像画像131C’が示されている。シャツとズボンとの重なりは、検出部111により検出されるが、検出手法は特に限定されない。
【0067】
例えば、撮像画像に映る物体と所定の物体との重なりは、撮像画像に映る物体と所定の物体との境界線の位置に基づいて検出され得る。例えば、検出部111は、シャツとズボンとの境界線の位置が被写体21の腰の位置であるか否かを判定し、当該境界線の位置が被写体21の腰の位置であると判定した場合には、被写体20はズボンの内側にシャツをしまっていると予想されるため、シャツとズボンとの重なりを検出してもよい。検出部111は、撮像画像に映っている物体のうち白い領域をシャツの領域として扱い、シャツの領域の下端をシャツとズボンとの境界線として扱ってもよい。腰の位置は、撮像画像から判定されてもよいし、骨格情報から判定されてもよい。また、腰の位置は、腰付近の位置を含んでいてもよい。
【0068】
また、例えば、検出部111は、境界線の位置が被写体21の腰の位置であり、かつ、境界線が直線に類似している場合に、シャツとズボンとの重なりを検出してもよい。例えば、検出部111は、シャツの領域の下端を複数の点で近似し、この複数の点を順に結んで得られる線が直線に類似している場合に、シャツとズボンとの重なりを検出してもよい。類似の範囲は、あらかじめ定めておくことができる。このように、検出部111は、シャツとズボンとの境界線の位置に基づいて、シャツとズボンとの重なりを検出することができる。
【0069】
図8は、画像処理部112が有する機能の変形例を説明するための図である。図8には、撮像画像131Dに映る物体の例として物体31Dが示され、撮像画像131Dに映る所定の物体の例として物体32Dが示されている。また、図8に示した例では、物体31Dはシャツであり、物体32Dはズボンであり、物体33Dはズボンであるが、物体31D、物体32Dおよび物体33Dは、特に限定されない。
【0070】
上記したように、画像処理部112は、シャツとズボンとの重なりが検出された場合に、重なりに応じて変形されたズボンを撮像画像に合成すればよい。図8には、画像処理部112により、シャツとズボンとの重なりが検出されたため、ズボンの一部が撮像画像131Cに合成された撮像画像131D’が示されている。シャツとズボンとの重なりは、検出部111により検出されるが、検出手法は特に限定されない。検出手法の例については、上記した通りである。
【0071】
以上、図7および図8を参照しながら、本開示の実施形態に係る画像処理装置100が有する機能の第1の変形例を説明した。以下、図9を参照しながら、第1の変形例に係る画像処理装置100の動作の流れを説明する。
【0072】
<5.第1の変形例における動作>
図9は、第1の変形例に係る画像処理装置100の動作の流れを示すフローチャートである。なお、図9を参照しながら説明する画像処理装置100の動作は、特に、被写体20が着用しているシャツの状態を検出する場合における画像処理装置100の動作である。被写体20が着用しているシャツは、撮像画像に映る物体の一例である。
【0073】
図9に示すように、まず、検出部111は、シャツを検出しない場合には(ステップS21で「No」)、ステップS21に戻る。一方、検出部111は、シャツを検出した場合には(ステップS21で「Yes」)、そのシャツの状態を検出する。画像処理部112は、被写体21がシャツをズボンの内側にしまっていることが検出された場合には(ステップS22で「Yes」)、ズボン全体を撮像画像に重畳する(ステップS23)。
【0074】
一方、画像処理部112は、被写体21がシャツをズボンの外に出していることが検出された場合には(ステップS22で「No」)、ズボンのうちシャツに重ならない部分を撮像画像に重畳する(ステップS24)。画像処理部112により処理された撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御されてもよい。
【0075】
以上、図9を参照しながら、第1の変形例に係る画像処理装置100の動作の流れについて説明した。
【0076】
<6.第2の変形例における機能>
続いて、画像処理部112が有する機能の第2の変形例について、図10〜図12を参照しながら説明を行う。図10は、画像処理部112が有する機能の第2の変形例を説明するための図である。
【0077】
例えば、画像処理部112は、撮像画像に映る物体の種類が検出された場合に、撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを撮像画像に合成する処理により撮像画像に仮想オブジェクトを合成してもよい。また、画像処理部112は、撮像画像に映る物体の種類が検出された場合に、撮像画像に映る物体の種類に応じた形状に撮像画像に映る他の物体を変形することにより撮像画像に仮想オブジェクトを合成してもよい。
【0078】
図10には、撮像画像131Eに映る物体の例として物体31Eが示され、撮像画像131Eに映る他の物体の例として物体32Eが示されている。また、図10には、他の物体の例として物体33Eが示されている。図10に示した例では、物体31Eは垂直方向の長さが短いネックレス(例えば、垂直方向の長さx1が閾値よりも短いネックレス)であり、物体32Eは被写体21が着用している服であり、物体33Eはラウンドネックの服であるが、物体31E、物体32Eおよび物体33Cは、特に限定されない。
【0079】
撮像画像131Eにおいては、被写体21が垂直方向の長さが短いネックレスを着用中である。被写体20は、表示された撮像画像131Eを見ることにより、垂直方向の長さが短いネックレスを着用したときの見た目を把握することができる。しかし、例えば、被写体20が店内でネックレスを試着している場合には、ネックレスにふさわしい服を着ているとは限らない。このため、被写体20は、撮像画像131Eによりネックレスにふさわしい服を着用し直したときの見た目とは異なった見た目を把握することになってしまう。
【0080】
そこで、画像処理部112は、検出されたアクセサリの種類に応じて、服の形状を変更すればよい。図10には、垂直方向の長さが短いネックレスが検出されたため、画像処理部112により、服の形状がラウンドネックに変更された撮像画像131E’が示されている。アクセサリの種類は、検出部111により検出されるが、検出手法は特に限定されない。例えば、アクセサリの種類は、上記したような物体の種類を認識する手法により検出され得る。
【0081】
服の形状を変更する手法も特に限定されない。例えば、画像処理部112は、垂直方向の長さが短いネックレスが検出された場合に、垂直方向の長さが短いネックレスに対応するラウンドネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部112は、垂直方向の長さが短いネックレスが検出された場合に、垂直方向の長さが短いネックレスに応じた形状であるラウンドネック形状に撮像画像131Eに映る服を変形することにより服の形状を変更してもよい。
【0082】
なお、図10に示した例では、被写体20が実空間に存在するアクセサリを着用しているが、仮想オブジェクトであるアクセサリが被写体21に重畳されている場合にも、服の形状を変更する処理が実行され得る。
【0083】
図11は、画像処理部112が有する機能の第2の変形例を説明するための図である。図11には、撮像画像131Fに映る物体の例として物体31Fが示され、撮像画像131Fに映る他の物体の例として物体32Fが示されている。また、図11には、他の物体の例として物体33Fが示されている。図11に示した例では、物体31Fは垂直方向の長さが長いネックレス(例えば、垂直方向の長さx2が閾値よりも長いネックレス)であり、物体32Fは被写体21が着用している服であり、物体33FはVネックの服であるが、物体31F、物体32Fおよび物体33Fは、特に限定されない。
【0084】
図11には、垂直方向の長さが長いネックレスが検出されたため、画像処理部112により、服の形状がVネックに変更された撮像画像131F’が示されている。例えば、画像処理部112は、垂直方向の長さが長いネックレスが検出された場合に、垂直方向の長さが長いネックレスに対応するVネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部112は、垂直方向の長さが長いネックレスが検出された場合に、垂直方向の長さが長いネックレスに応じた形状であるVネック形状に撮像画像131Fに映る服を変形することにより服の形状を変更してもよい。
【0085】
図12は、画像処理部112が有する機能の第2の変形例を説明するための図である。図12には、撮像画像131Gに映る物体の例として物体31Gが示され、撮像画像131Fに映る他の物体の例として物体32Gが示されている。また、図12には、他の物体の例として物体33Gが示されている。図12に示した例では、物体31Gはピアスであり、物体32Gは被写体21が着用している服であり、物体33Gはボートネックの服であるが、物体31G、物体32Gおよび物体33Gは、特に限定されない。
【0086】
図12には、ピアスが検出されたため、画像処理部112により、服の形状がボートネックに変更された撮像画像131G’が示されている。例えば、画像処理部112は、ピアスが検出された場合に、ピアスに対応するボートネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部112は、ピアスが検出された場合に、ピアスに対応する形状であるボートネック形状に撮像画像131Gに映る服を変形することにより服の形状を変更してもよい。
【0087】
以上、図10〜図12を参照しながら、本開示の実施形態に係る画像処理装置100が有する機能の第2の変形例を説明した。以下、図13を参照しながら、第2の変形例に係る画像処理装置100の動作の流れを説明する。
【0088】
<7.第2の変形例における動作>
図13は、第2の変形例に係る画像処理装置100の動作の流れを示すフローチャートである。なお、図13を参照しながら説明する画像処理装置100の動作は、特に、被写体20が着用しているアクセサリの種類を検出する場合における画像処理装置100の動作である。被写体20が着用しているアクセサリは、撮像画像に映る物体の一例である。
【0089】
図13に示すように、まず、検出部111は、撮像画像に映るアクセサリの種類を検出する。検出部111は、撮像画像からネックレスを検出した場合には(ステップS31で「Yes」)、ネックレスの垂直方向の長さを検出する。画像処理部112は、検出部111によりネックレスの垂直方向の長さが短いことが検出された場合には(ステップS32で「Yes」)、撮像画像に映っている服の形状をラウンドネックに変更する(ステップS33)。
【0090】
一方、画像処理部112は、検出部111によりネックレスの垂直方向の長さが長いことが検出された場合には(ステップS32で「No」)、撮像画像に映っている服の形状をVネックに変更する(ステップS34)。画像処理部112は、検出部111により撮像画像からネックレスが検出されない場合(ステップS31で「No」)、撮像画像からピアスを検出した場合には(ステップS35で「Yes」)、撮像画像に映っている服の形状をボートネックに変更する(ステップS36)。画像処理部112により処理された撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御されてもよい。
【0091】
以上、図13を参照しながら、第2の変形例に係る画像処理装置100の動作の流れについて説明した。
【0092】
<8.第3の変形例における機能>
続いて、画像処理部112が有する機能の第3の変形例について、図14〜図16を参照しながら説明を行う。図14は、画像処理部112が有する機能の第3の変形例を説明するための図である。
【0093】
図14には、撮像画像131Hに映る物体の例として物体31Hが示されている。また、図14には、他の物体の例として物体33Hが示されている。図14に示した例では、物体31Hはボートネックの服であり、物体33Hはピアスであるが、物体31Hおよび物体33Hは、特に限定されない。
【0094】
撮像画像131Hにおいては、被写体21は服を着用しているが、アクセサリを着用していない。例えば、被写体21が着用している服にふさわしいアクセサリが撮像画像131Hに合成されれば、被写体20は、そのアクセサリが合成された撮像画像を見ることにより、着用している服にふさわしいアクセサリを把握することができる。さらに、被写体20は、そのアクセサリを気に入る可能性が高い。
【0095】
そこで、画像処理部112は、検出された服の種類に応じて、撮像画像に合成するアクセサリの種類を変更すればよい。図14には、ボートネックの服が検出されたため、画像処理部112により、ピアスが合成された撮像画像131H’が示されている。ここで合成されるピアスは、垂れ下がるタイプのピアスがより好ましい。ピアスにより縦長のラインを作ると全体のバランスが良くなることが期待されるからである。服の種類は、検出部111により検出されるが、検出手法は特に限定されない。例えば、服の種類は、上記したような物体の種類を認識する手法により検出され得る。
【0096】
なお、図14に示した例では、被写体20が実空間に存在する服を着用しているが、仮想オブジェクトである服が被写体21に重畳されている場合にも、アクセサリの種類を変更する処理が実行され得る。
【0097】
図15は、画像処理部112が有する機能の第3の変形例を説明するための図である。図15には、撮像画像131Iに映る物体の例として物体31Iが示されている。また、図15には、他の物体の例として物体33Iが示されている。図15に示した例では、物体31IはVネックの服であり、物体33Iは垂直方向の長さが長いネックレスであるが、物体31Iおよび物体33Iは、特に限定されない。
【0098】
図15には、Vネックの服が検出されたため、画像処理部112により、垂直方向の長さが長いネックレスが合成された撮像画像131I’が示されている。
【0099】
図16は、画像処理部112が有する機能の第3の変形例を説明するための図である。図16には、撮像画像131Jに映る物体の例として物体31Jが示されている。また、図16には、他の物体の例として物体33Jが示されている。図16に示した例では、物体31Jはラウンドネックの服であり、物体33Jは垂直方向の長さが短いネックレスであるが、物体31Jおよび物体33Jは、特に限定されない。
【0100】
図16には、ラウンドネックの服が検出されたため、画像処理部112により、垂直方向の長さが短いネックレスが合成された撮像画像131J’が示されている。
【0101】
<9.第3の変形例における動作>
図17は、第3の変形例に係る画像処理装置100の動作の流れを示すフローチャートである。なお、図17を参照しながら説明する画像処理装置100の動作は、特に、被写体20が着用している服の種類を検出する場合における画像処理装置100の動作である。被写体20が着用している服は、撮像画像に映る物体の一例である。
【0102】
図17に示すように、まず、検出部111は、撮像画像に映る服の種類を検出する。画像処理部112は、その服の形状がボートネックであることが検出部111により検出された場合には(ステップS41で「Yes」)、ピアスを撮像画像に重畳する(ステップS33)。一方、画像処理部112は、その服の形状がボートネックではないことが検出部111により検出された場合には(ステップS41で「No」)、ステップS43に進む。
【0103】
画像処理部112は、その服の形状がVネックであることが検出部111により検出された場合には(ステップS43で「Yes」)、垂直方向の長さが長いネックレスを撮像画像に重畳する(ステップS44)。一方、画像処理部112は、その服の形状がVネックではないことが検出部111により検出された場合には(ステップS43で「No」)、ステップS45に進む。
【0104】
画像処理部112は、その服の形状がラウンドネックであることが検出部111により検出された場合には(ステップS45で「Yes」)、垂直方向の長さが短いネックレスを撮像画像に重畳する(ステップS46)。画像処理部112により処理された撮像画像は、表示部130に表示されるように表示制御部113により表示部130が制御されてもよい。
【0105】
以上、図17を参照しながら、第3の変形例に係る画像処理装置100の動作の流れについて説明した。
【0106】
<10.むすび>
以上説明したように、本開示の実施形態によれば、撮像画像に仮想オブジェクトを合成する画像処理部を備え、画像処理部は、撮像画像に映る物体の状態または種類に基づいて仮想オブジェクトを決定する、画像処理装置が提供される。かかる画像処理装置によれば、撮像画像に映る物体の状態または種類を考慮して仮想オブジェクトを決定することができる。かかる画像処理装置によれば、例えば、撮像画像に映る服のうち他の服からはみ出ている部分を消去したり、ユーザの服の着こなし方を反映するように新たな服を合成したりすることができる。また、ユーザが着用している服に合うようなアクセサリを撮像画像に合成したり、ユーザが着用しているアクセサリに合うような形状に服を変更したりすることができる。
【0107】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0108】
例えば、画像処理部112を備える画像処理装置100は、サーバに備えられていてもよいし、サーバと通信可能な端末に備えられていてもよい。また、例えば、上記では、物体の状態または種類を検出する機能を、画像処理装置100が有する例を主に説明したが、かかる機能は、画像処理装置100の代わりに他の装置が有していてもよい。例えば、かかる機能は、センサ部150が有していてもよい。例えば、画像処理装置100が撮像画像を他の装置に送信した場合、他の装置は画像処理装置100の代わりに撮像画像から物体の状態または種類を検出してもよい。
【0109】
また、例えば、上記では、表示制御部113は、画像処理装置100に備えられている例を主に説明したが、表示制御部113は、画像処理装置100の代わりに他の装置が有していてもよい。例えば、画像処理部112はサーバに備えられており、表示制御部113は端末に備えられていてもよい。例えば、サーバにより処理された撮像画像が端末に送信された場合、端末はその撮像画像が表示部130に表示されるように表示部130を制御してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
【0110】
また、例えば、第3の変形例では、画像処理部112が、アクセサリの種類に応じて服の形状を変更したり、服の形状に応じてアクセサリの種類を変更したりする例を主に説明した。すなわち、アクセサリの種類と服の形状との相性を考慮して仮想オブジェクトを決定することとした。しかし、アクセサリと服の形状との組み合わせ以外にも、相性の良し悪しのある組み合わせは存在する。例えば、スカートの丈とブーツの丈との組み合わせにも相性の良し悪しが認められる。したがって、画像処理部112は、スカートの丈とブーツの丈との相性を考慮して仮想オブジェクトを決定することも可能である。同様に、画像処理部112は、靴の高さ(例えば、ヒールの高さ、ブーツの丈など)とズボンの丈との相性を考慮して仮想オブジェクトを決定することも可能である。
【0111】
また、画像処理部112は、検出部111によりベルトが検出された場合に、ベルトと一緒に被写体により着用されているワンピースのウェスト部分を絞るような画像処理を行ってもよい。被写体により着用されているワンピースは、撮像画像に重畳されていてもよいし、撮像画像に映っていてもよい。このような画像処理が行われれば、被写体がベルトによりワンピースを実際に絞る動作を行わなくても、ベルト付きでワンピースを着用したときの見た目を把握することができる。
【0112】
また、画像処理部112は、服同士の相性を考慮して仮想オブジェクトを決定してもよい。例えば、画像処理部112は、マフラーの着用が検出された場合には、マフラーと同時に着用されている服の袖を半袖から長袖に変更するように仮想オブジェクトを決定してもよい。このような画像処理が行われれば、例えば、服を試着する時期とその服を実際に着用する時期とが異なっても、その服を着用したときの見た目をより正確に把握することができる。
【0113】
また、本明細書の画像処理装置100の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置100の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【0114】
また、画像処理装置100に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した画像処理装置100の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【0115】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する、画像処理装置。
(2)
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
前記(1)に記載の画像処理装置。
(3)
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に重畳された所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
前記(1)に記載の画像処理装置。
(4)
前記撮像画像に映る物体と前記所定の物体との隣接は、前記撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出される、
前記(2)または前記(3)に記載の画像処理装置。
(5)
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との重なりが検出された場合に、前記重なりに応じて変形された仮想オブジェクトを前記撮像画像に合成する、
前記(1)に記載の画像処理装置。
(6)
前記撮像画像に映る物体と前記所定の物体との重なりは、前記撮像画像に映る物体と前記所定の物体との境界線の位置に基づいて検出される、
前記(5)に記載の画像処理装置。
(7)
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを前記撮像画像に合成する、
前記(1)に記載の画像処理装置。
(8)
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じた形状に前記撮像画像に映る他の物体を変形することにより前記撮像画像に仮想オブジェクトを合成する、
前記(1)に記載の画像処理装置。
(9)
前記画像処理装置は、
前記撮像画像に映る物体の状態または種類を検出する検出部をさらに備える、
前記(1)に記載の画像処理装置。
(10)
前記画像処理装置は、
前記画像処理部により処理された後の画像が表示部に表示されるように前記表示部を制御する表示制御部をさらに備える、
前記(1)に記載の画像処理装置。
(11)
撮像画像に映る物体の状態または種類に基づいて、前記撮像画像に合成される前記仮想オブジェクトを決定することを含む、画像処理方法。
(12)
コンピュータを、
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラム。
【符号の説明】
【0116】
10 画像処理システム
100 画像処理装置
110 制御部
111 検出部
112 画像処理部
113 表示制御部
120 記憶部
130 表示部
131(131A〜131J) 撮像画像
140 撮像部
150 センサ部
【特許請求の範囲】
【請求項1】
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する、画像処理装置。
【請求項2】
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
請求項1に記載の画像処理装置。
【請求項3】
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に重畳された所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
請求項1に記載の画像処理装置。
【請求項4】
前記撮像画像に映る物体と前記所定の物体との隣接は、前記撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出される、
請求項2に記載の画像処理装置。
【請求項5】
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との重なりが検出された場合に、前記重なりに応じて変形された仮想オブジェクトを前記撮像画像に合成する、
請求項1に記載の画像処理装置。
【請求項6】
前記撮像画像に映る物体と前記所定の物体との重なりは、前記撮像画像に映る物体と前記所定の物体との境界線の位置に基づいて検出される、
請求項5に記載の画像処理装置。
【請求項7】
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを前記撮像画像に合成する、
請求項1に記載の画像処理装置。
【請求項8】
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じた形状に前記撮像画像に映る他の物体を変形することにより前記撮像画像に仮想オブジェクトを合成する、
請求項1に記載の画像処理装置。
【請求項9】
前記画像処理装置は、
前記撮像画像に映る物体の状態または種類を検出する検出部をさらに備える、
請求項1に記載の画像処理装置。
【請求項10】
前記画像処理装置は、
前記画像処理部により処理された後の画像が表示部に表示されるように前記表示部を制御する表示制御部をさらに備える、
請求項1に記載の画像処理装置。
【請求項11】
撮像画像に映る物体の状態または種類に基づいて、前記撮像画像に合成される前記仮想オブジェクトを決定することを含む、画像処理方法。
【請求項12】
コンピュータを、
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラム。
【請求項1】
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する、画像処理装置。
【請求項2】
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
請求項1に記載の画像処理装置。
【請求項3】
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に重畳された所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
請求項1に記載の画像処理装置。
【請求項4】
前記撮像画像に映る物体と前記所定の物体との隣接は、前記撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出される、
請求項2に記載の画像処理装置。
【請求項5】
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との重なりが検出された場合に、前記重なりに応じて変形された仮想オブジェクトを前記撮像画像に合成する、
請求項1に記載の画像処理装置。
【請求項6】
前記撮像画像に映る物体と前記所定の物体との重なりは、前記撮像画像に映る物体と前記所定の物体との境界線の位置に基づいて検出される、
請求項5に記載の画像処理装置。
【請求項7】
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを前記撮像画像に合成する、
請求項1に記載の画像処理装置。
【請求項8】
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じた形状に前記撮像画像に映る他の物体を変形することにより前記撮像画像に仮想オブジェクトを合成する、
請求項1に記載の画像処理装置。
【請求項9】
前記画像処理装置は、
前記撮像画像に映る物体の状態または種類を検出する検出部をさらに備える、
請求項1に記載の画像処理装置。
【請求項10】
前記画像処理装置は、
前記画像処理部により処理された後の画像が表示部に表示されるように前記表示部を制御する表示制御部をさらに備える、
請求項1に記載の画像処理装置。
【請求項11】
撮像画像に映る物体の状態または種類に基づいて、前記撮像画像に合成される前記仮想オブジェクトを決定することを含む、画像処理方法。
【請求項12】
コンピュータを、
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2013−101468(P2013−101468A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2011−244377(P2011−244377)
【出願日】平成23年11月8日(2011.11.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願日】平成23年11月8日(2011.11.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]