画像加工機能を有するカメラ装置
カメラ装置および対応する方法が提供される。一実施形態におけるカメラ装置は、ジェスチャを判定し、特定されたジェスチャに基づき画像の加工を決定するために、記録された画像を分析する回路を含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、統合された画像加工機能を有するカメラ装置および対応する方法に関する。この点において、「カメラ装置」の用語は、専らカメラ機能を有するもののみならず、他の携帯電子装置に統合されたカメラ装置、例えば、携帯電話、パーソナルデジタルアシスタント、ポータブルゲーム装置あるいはラップトップコンピュータに統合されたカメラ装置を含むものであることを意図している。
【背景技術】
【0002】
近年、デジタル写真がフィルム写真に広くとって代わった。デジタルカメラ装置を用いて撮られた写真、すなわち画像、については例えばコンピュータ上で後処理することができる。このような後処理は、記録された画像のわずかな修正はもちろんのこと、画像が異なる印象となるような大幅な修正や加工を行うことができる。しかし、このような後処理は、コンピュータおよび対応する画像処理ソフトウェアの利用を必要とし、それは必ずしも操作が簡単であるとは限らない。また、特に、携帯電話に統合されたデジタルカメラ装置の利用の増加に伴い、画像を記録した直後に、例えばSMS、MMSまたは電子メールによって、例えば友達に画像を送信し、その画像をさらに加工できることが望まれる場合も多い。
【発明の概要】
【0003】
一実施形態によれば、少なくとも1つの画像をデジタルで記録するデジタルカメラユニットと、前記記録された少なくとも1つの画像の被写体のジェスチャを判定し、該判定されたジェスチャに応じて写真の加工を決定する分析回路とを有することを特徴とするカメラ装置が提供される。
【0004】
一実施形態によれば、前記分析回路は、前記決定された加工に応じて、前記少なくとも1つの画像を加工する。
【0005】
一実施形態によれば、前記カメラユニットは、更に、少なくとも1つの他の画像を記録し、前記分析回路は、更に、前記決定された加工に応じて前記少なくとも1つの他の画像を加工する。
【0006】
一実施形態によれば、前記カメラ装置は、ユーザ入力装置を更に有し、前記分析回路は、前記ユーザ入力装置から受信した入力に基づいて、前記加工を決定する。
【0007】
一実施形態によれば、前記分析回路は、選択された画像記録モードに基づいて、前記加工を決定する。
【0008】
一実施形態によれば、前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含む。
【0009】
一実施形態によれば、前記記録された画像の一部分は、前記記録された画像の背景、前記記録された画像の被写体の服装部分、および前記記録された画像の枠部分から成る群から選択される部分を含む。
【0010】
一実施形態によれば、前記加工は、前記画像の一部分を、前記記録された画像の一部分の外観を変えるアルゴリズムにかけることを含む。
【0011】
一実施形態によれば、前記記録された画像の一部分は、前記画像の被写体の顔部分を含む。
【0012】
一実施形態によれば、前記アルゴリズムは、モーフィングアルゴリズムおよびぼかしアルゴリズムから成る群から選択されるアルゴリズムを含む。
【0013】
一実施形態によれば、前記加工は、サイズ変更と中心位置調整とを組み合わせた演算を含む。
【0014】
一実施形態によれば、前記ジェスチャは、前記記録された画像の被写体の顔の前での手の運動、前記記録された画像の被写体による長方形の描画、前記記録された画像の被写体の頭部の耳を引っ張ること、前記記録された画像の被写体の指でプラス記号を作ること、前記記録された画像の被写体によってなされる敬礼、および前記記録された画像の被写体によってとられる武術のポーズから成る群から選択される。
【0015】
一実施形態によれば、前記カメラ装置は、携帯電話、ポータブルゲーム装置、パーソナルデジタルアシスタント、スマートフォンおよびラップトップコンピュータから成る群から選択される電子装置の一部分である。
【0016】
一実施形態によれば、前記分析回路は、前記分析を実行する前に、前記少なくとも1つの画像のコントラストを強調する。
【0017】
さらなる実施形態によれば、少なくとも1つの画像を記録するステップと、前記少なくとも1つの画像を分析して該少なくとも1つの画像の被写体によってとられるジェスチャを識別するステップと、前記識別されたジェスチャに応じて加工を決定するステップとを有することを特徴とする方法が提供される。
【0018】
一実施形態によれば、前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含む。
【0019】
一実施形態によれば、前記加工は、記録された画像の一部分の外観を変えるアルゴリズムを実行することを含む。
【0020】
一実施形態によれば、方法は、前記分析の前に、前記少なくとも1つの画像のコントラストを強調するステップを更に有する。
【0021】
一実施形態によれば、方法は、前記加工を、前記少なくとも1つの画像および更に記録された画像から成る群から選択される画像を用いて、前記加工を実行するステップを更に有する。
【0022】
上述の特徴は、反対のことであると特に断らない限り、互いに自由に組み合わせられてよいことに留意されたい。
【図面の簡単な説明】
【0023】
【図1】一実施形態におけるカメラ装置を示す図。
【図2】一実施形態における方法を示す図。
【図3】他の実施形態における方法を示す図。
【図4A】、
【図4B】、
【図5A】、
【図5B】、
【図6A】、
【図6B】、
【図7A】、
【図7B】、
【図8A】、
【図8B】、
【図8C】、
【図9】実施形態の機能を説明するための写真を示す図。
【発明を実施するための形態】
【0024】
以下、添付の図面を参照しながら本発明の様々な実施形態を詳細に記載する。以下の記載および図面は説明のためにのみ与えられているものであり、限定的な意味で捉えられてはならないことを理解されたい。
【0025】
図面において、様々な要素は、当業者にそれぞれの実施形態の明確な理解を与えるべく示されており、必ずしも原寸に比例して描かれてはいないことを理解されたい。同様に、異なる図は、同一または類似の要素を示していても、必ずしも互いに一定の縮尺比になっているとは限らない。
【0026】
図面における構造要素同士またはブロック同士の間に示される結合または接続はいずれも、直接接続、すなわち介在要素のない接続、によって実現されてもよいし、間接接続、すなわち1つ以上の介在要素を介した接続、によって実現されてもよいことに留意されたい。さらに、例示のための機能ブロックは独立したユニットとして示されてもよく、その一方で、反対のことであると特に断らない限り、対応する機能は、共通のユニット、例えば共通の回路またはチップ、内に実装されてもよいことを理解されたい。
【0027】
複数の特定の要素を含む実施形態の記載は、本発明を実施するためにこれらの要素がすべて必要であることを示していると解釈されてはならないことに留意されたい。それよりむしろ、他の実施形態では、より少ない要素および/または代替の要素が提供されてよい。一方、図面に示されているものに対する追加の要素が存在してもよい。
【0028】
様々な実施形態の特徴は、反対のことであると特に断らない限り、互いに組み合わせられてよい。
【0029】
本発明の範囲は、本願明細書において以下に記載されている実施形態に限定されるものではなく、添付の特許請求の範囲およびその均等の範囲によってのみ限定されるものである。
【0030】
図1に、本発明の実施形態によるカメラ装置15のブロック図を示す。図1に示されるカメラ装置15は、専用のデジタルカメラの一部であってよいし、任意の他の電子携帯装置、例えば携帯電話、パーソナルデジタルアシスタント、ポータブルゲーム装置、スマートフォンあるいはラップトップコンピュータ、に組み込まれたものであってもよい。このような装置の、本願明細書において以下に説明する実施形態の機能に直接関連しない構成要素については図示されていないことに留意されたい。例えば、カメラ装置15が携帯電話の一部である場合には、電話機能の実行に関連する携帯電話のパーツは示されていない。
【0031】
図1の実施形態のカメラ装置15は、デジタル写真を撮る、すなわちデジタル画像を記録する、デジタルカメラユニット10を含む。デジタルカメラユニット10は、任意の従来の様式で実装されればよく、通常、光を電気信号に変換する画像センサ、例えばCCDセンサ(電荷結合素子(charged-coupled device))またはCMOSセンサ(相補型金属酸化膜半導体(complementary metal oxide semiconductor))、ならびに光を画像センサ上に集める1つ以上のレンズを含む。画像センサによって記録された画像はメモリ11内に記憶されうる。メモリ11としては、フラッシュ型メモリ、ランダムアクセスメモリ、および/または他の種類のメモリで構成され、カメラ装置15の内蔵メモリとして、取り外し可能なチップカードのメモリとして、またはそれらの組み合わせとして実装されうる。
【0032】
制御部12は、例えばマイクロプロセッサを含み、メモリ11にアクセスし、すなわちメモリ11に対して読み出しおよび書き込みを行い、デジタルカメラユニット10を制御することができる。ユーザは、入力部14を介して入力を行い、制御部12によって行使される制御に影響を与えることができる。例えば、ユーザは、入力部14の特定のボタンを押すことによって、制御部12に、デジタルカメラユニット10を制御して画像を記録させることができる。他の入力には、画像を記録するための各種設定、例えば露光時間、フラッシュのアクティブ化、絞り、解像度、セルフタイマーのアクティブ化、または特定の画像記録モード、例えば白黒撮影、夜間ショット用の画像モード、のアクティブ化が含まれ、あるいは、以下にいくらかより詳細に説明される、撮影対象の被写体のジェスチャに基づく写真加工のための設定も含まれる。
【0033】
カメラ装置15は、メモリ11内に記憶されている、デジタルカメラ10によって記録された画像を処理し分析する画像プロセッサ13を更に含む。対応する画像記録モードにおいて、画像プロセッサ13は分析のために画像を準備し、それらを分析して撮影対象の被写体、特に人間、の特定の所定のジェスチャを識別することができる。もっとも、実施形態によっては、動物のジェスチャを識別できるようにしてもよい。これらのジェスチャに基づき、特定の画像操作または加工を実行することができる。そのための例は後述する。画像プロセッサ13は、図1の実施形態における制御部12によって制御されて、対応する画像記録モードにおける上述の分析および加工を実行する。
【0034】
図1の実施形態では、分析回路として独立した画像プロセッサ13が示されているが、一方、他の実施形態では、画像プロセッサ13の機能が制御部12によって、例えば制御部12のマイクロプロセッサを用いることによって、実行されてもよい。
【0035】
分析されたジェスチャに依存して実行される画像の加工は、実施形態によっては、メモリ11内に記憶されているテクスチャまたは画像パーツによる、画像パーツの置換を含んでもよいし、あるいはモーフィングアルゴリズムまたはぼかしアルゴリズムのようなアルゴリズムを用いた、写真のパーツの加工を含んでもよい。
【0036】
実施形態によっては、画像を分析することによってジェスチャが識別された後、他の画像が記録され、この他の画像に対する加工が実行される。図2に、対応する方法の実施形態が示されている。以下、図2を参照しながら記載される方法は、図1を参照しながら説明されているカメラ装置15に実装されうる。ただし、そうしなければならないというわけではない。
【0037】
20において、1つ以上の画像が記録される。単一の画像を用いる場合には、例えば静止したジェスチャが識別されればよく、その一方でさらに、2つ以上の画像を記録し分析することによって、動きのあるジェスチャ、例えば手の動き、を識別するようにしてもよい。2つ以上の画像を記録することは、一般的に画像の高速連続したものである動画を記録することによって実行されてもよいし、または2つ以上の静止画像を記録することによって実行されてもよい。
【0038】
21において、20において記録された1つ以上の画像が分析のために準備される。例えば、ジェスチャの検出を容易にするために画像または画像群のコントラストが強調されてもよい。
【0039】
22において、画像または画像群は、ジェスチャを識別するべく分析される。
【0040】
23において、識別されたジェスチャに応じて、1つ以上の加工に従って画像が加工されるべきかどうかが決定される。この決定は必ずしも識別されたジェスチャのみに基づく必要はなく、それに加えて、選択された画像記録モードやユーザ入力などの他のファクタに依存してもよい。例えば、ある加工を示すジェスチャが識別された場合、カメラ装置のユーザに、その加工を本当に実行するかどうかを問い合わせるようにしてもよい。
【0041】
24において、他の画像が記録され、25において、該他の画像が、23において決定された1または2以上の加工に対応して加工される。他の画像は、一部または全部が加工されうる複数の他の画像、例えば動画における各画像、のうちの1つであればよい。
【0042】
他の実施形態では、分析される画像は、続いて加工される画像と同じである。図3に、このような実施形態に対応する方法の例が示されている。
【0043】
30において、少なくとも1つの画像が記録される。31において、記録された画像は分析のために準備される。これは、現物を保存するために画像の複製を用いて行われればよい。ただし、そうしなければならないというわけではない。分析のための準備は、図2を参照しながら説明されたものと同じく、コントラスト強調を含んでよい。
【0044】
32において、画像は、画像の被写体のジェスチャを識別するべく分析される。33において、判定されたジェスチャに応じて、場合によっては、図2の実施形態と同じく、ユーザ入力のような他のファクタに応じて加工が決定される。34において、画像は、決定された加工に従って加工される。
【0045】
図2の22および図3の32における画像分析は、皮膚色の認識、被写体の手の指のカウント、パターン認識、ニューラルネットワーク、顔検出アルゴリズムまたは体形識別などの1つ以上のアルゴリズムを実行することを含むことができる。
【0046】
図2および3の実施形態では、ステップが省略されてもよいし、またはステップの順序が変えられてもよい。例えば、実施形態によっては、分析のための1または2以上の画像の準備が省かれてもよい。他の実施形態では、画像記録モードに基づく加工の決定が省かれてよく、方法を完全に実行するのは、対応する画像記録モードが選択される場合のみにしてもよい。図2の実施形態では、20で複数の画像が記録される場合、20から22までの方法が画像ごとに別々に順々に実行されてもよい。
【0047】
以下、例えば図2の22または図3の32において識別されうる所定のジェスチャならびに続いて実行される加工の例を、図4乃至9を参照しながら説明する。図4乃至7は特に、図2を参照しながら説明されている方法において用いられればよい例を示し、図8および9の例はどちらかといえば図3の方法に関連する。しかし、これらの例のこのような区分化はあくまで1つの可能性をなすものであり、図4乃至7において示されるジェスチャおよび加工が図3の実施形態において用いられてもよいし、図8および9において示されるジェスチャおよび加工が図2の実施形態において用いられてもよい。
【0048】
図4Aでは、撮影対象の被写体が自分の顔の前で手を下に動かすジェスチャが示されている。このようなジェスチャは、例えば、図2における20において、手が異なる位置にある複数の画像を記録し、次に、22における画像の分析の間に動きを再構築することによって識別されうる。一実施形態では、このようなジェスチャが識別されれば、動きの後、例えばその動きから所定の時間後に、他の画像が記録され、図4Bに示されるように、写真上で被写体が容易に識別され得ないように、該他の画像において被写体の頭部が特定され、ぼかされる。
【0049】
図5Aおよび5Bに、別の例が示されている。図5Aでは、撮影対象の被写体は2本の指を交差させて十字記号を形作っている。このジェスチャが識別されると、一実施形態では他の画像が記録され、この画像は、図5Bに示されるように、被写体が写真の中央で目立つように、中心位置が調整されサイズ変更される。
【0050】
図6Aおよび6Bに、更に別の例が示されている。図6Aでは、被写体が自分の手または指でほぼ長方形の枠を描くジェスチャの例が示されている。このようなジェスチャが識別されると、一実施形態では他の画像が記録され、図6Bに示されるように画像に枠が追加される。図6Bに示される画像の枠部分は、図1のメモリ11のようなメモリに記憶されている既定の模様であればよい。このような場合には、被写体が枠の中央に配置されるように、画像はさらにサイズ変更および/または中心位置の調整を受けてもよい。
【0051】
図7に、更に別の例が示されている。既定のジェスチャとして、図7Aでは、画像の被写体は自分の耳を引っ張る。これは、例えば、図7Aにおける線によって示されるように腕の特徴的な位置を検出することによって検出されればよい。
【0052】
このようなジェスチャが識別されると、他の画像が記録され、次に、図7Bに示されるように戯画的な画像を提供するべく、被写体の顔がモーフィングアルゴリズムにかけられる。
【0053】
図8Aに、更に別の例が示されている。この例では、ジェスチャは軍隊の敬礼である。一実施形態では、このようなジェスチャが識別されると、図8Bに示されるように、記録された画像内で人物の衣服が軍服で置換される。別の実施形態では、図8Cに示されるように画像の背景が軍隊の背景に変えられる。図8Bおよび8Cのこれらの2つの可能性は組み合わせられてもよい。すなわち被写体に軍服を着せて、軍隊の背景を挿入してもよい。服装および軍隊の背景のテクスチャはどちらもカメラ装置内に、例えば図1のメモリ11内に、あらかじめ記憶されていればよい。
【0054】
図9に、さらにあり得るジェスチャが示されている。図9では、被写体はカンフーのようなポーズをとっている。実施形態では、このようなジェスチャが識別されると、被写体の衣服が武術着で置換され、および/または背景が極東の背景で置換されうる。
【0055】
図6、8および9の例は、記録された画像の部分が既定のテクスチャ、模様または画像部分で置換される例である。図4および7の例は、アルゴリズム、図示の例ではぼかしアルゴリズムまたはモーフィングアルゴリズム、が写真の一部で実行される場合である。
【0056】
上述のジェスチャおよび加工はあくまで例の役割を果たしているに過ぎない。さらに、実施形態はこれらのうち可能なものを1つ実装してもよいし、2つ以上実装してもよいし、あるいは、全部を実装してもよい。実施形態によっては、説明されている加工は、対応するジェスチャが検出されるとすぐに全部実行されてもよいし、他の実施形態では、加工を実行する前に撮影者への問い合わせをしてもよい。いくつかの実施形態においてすでに説明されたとおりの、ジェスチャ識別および加工は、カメラ装置が、対応する画像記録モードに設定されるときだけ実行されてもよいが、他の実施形態では、画像記録モードの設定にかかわりなく、いつ実行されてもよい。
【0057】
以上より分かるように、複数の変形および加工が可能であり、従って、本発明は上述の実施形態によって限定されるものではなく、添付の特許請求の範囲およびその均等物によってのみ限定されることを意図している。
【技術分野】
【0001】
本発明は、統合された画像加工機能を有するカメラ装置および対応する方法に関する。この点において、「カメラ装置」の用語は、専らカメラ機能を有するもののみならず、他の携帯電子装置に統合されたカメラ装置、例えば、携帯電話、パーソナルデジタルアシスタント、ポータブルゲーム装置あるいはラップトップコンピュータに統合されたカメラ装置を含むものであることを意図している。
【背景技術】
【0002】
近年、デジタル写真がフィルム写真に広くとって代わった。デジタルカメラ装置を用いて撮られた写真、すなわち画像、については例えばコンピュータ上で後処理することができる。このような後処理は、記録された画像のわずかな修正はもちろんのこと、画像が異なる印象となるような大幅な修正や加工を行うことができる。しかし、このような後処理は、コンピュータおよび対応する画像処理ソフトウェアの利用を必要とし、それは必ずしも操作が簡単であるとは限らない。また、特に、携帯電話に統合されたデジタルカメラ装置の利用の増加に伴い、画像を記録した直後に、例えばSMS、MMSまたは電子メールによって、例えば友達に画像を送信し、その画像をさらに加工できることが望まれる場合も多い。
【発明の概要】
【0003】
一実施形態によれば、少なくとも1つの画像をデジタルで記録するデジタルカメラユニットと、前記記録された少なくとも1つの画像の被写体のジェスチャを判定し、該判定されたジェスチャに応じて写真の加工を決定する分析回路とを有することを特徴とするカメラ装置が提供される。
【0004】
一実施形態によれば、前記分析回路は、前記決定された加工に応じて、前記少なくとも1つの画像を加工する。
【0005】
一実施形態によれば、前記カメラユニットは、更に、少なくとも1つの他の画像を記録し、前記分析回路は、更に、前記決定された加工に応じて前記少なくとも1つの他の画像を加工する。
【0006】
一実施形態によれば、前記カメラ装置は、ユーザ入力装置を更に有し、前記分析回路は、前記ユーザ入力装置から受信した入力に基づいて、前記加工を決定する。
【0007】
一実施形態によれば、前記分析回路は、選択された画像記録モードに基づいて、前記加工を決定する。
【0008】
一実施形態によれば、前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含む。
【0009】
一実施形態によれば、前記記録された画像の一部分は、前記記録された画像の背景、前記記録された画像の被写体の服装部分、および前記記録された画像の枠部分から成る群から選択される部分を含む。
【0010】
一実施形態によれば、前記加工は、前記画像の一部分を、前記記録された画像の一部分の外観を変えるアルゴリズムにかけることを含む。
【0011】
一実施形態によれば、前記記録された画像の一部分は、前記画像の被写体の顔部分を含む。
【0012】
一実施形態によれば、前記アルゴリズムは、モーフィングアルゴリズムおよびぼかしアルゴリズムから成る群から選択されるアルゴリズムを含む。
【0013】
一実施形態によれば、前記加工は、サイズ変更と中心位置調整とを組み合わせた演算を含む。
【0014】
一実施形態によれば、前記ジェスチャは、前記記録された画像の被写体の顔の前での手の運動、前記記録された画像の被写体による長方形の描画、前記記録された画像の被写体の頭部の耳を引っ張ること、前記記録された画像の被写体の指でプラス記号を作ること、前記記録された画像の被写体によってなされる敬礼、および前記記録された画像の被写体によってとられる武術のポーズから成る群から選択される。
【0015】
一実施形態によれば、前記カメラ装置は、携帯電話、ポータブルゲーム装置、パーソナルデジタルアシスタント、スマートフォンおよびラップトップコンピュータから成る群から選択される電子装置の一部分である。
【0016】
一実施形態によれば、前記分析回路は、前記分析を実行する前に、前記少なくとも1つの画像のコントラストを強調する。
【0017】
さらなる実施形態によれば、少なくとも1つの画像を記録するステップと、前記少なくとも1つの画像を分析して該少なくとも1つの画像の被写体によってとられるジェスチャを識別するステップと、前記識別されたジェスチャに応じて加工を決定するステップとを有することを特徴とする方法が提供される。
【0018】
一実施形態によれば、前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含む。
【0019】
一実施形態によれば、前記加工は、記録された画像の一部分の外観を変えるアルゴリズムを実行することを含む。
【0020】
一実施形態によれば、方法は、前記分析の前に、前記少なくとも1つの画像のコントラストを強調するステップを更に有する。
【0021】
一実施形態によれば、方法は、前記加工を、前記少なくとも1つの画像および更に記録された画像から成る群から選択される画像を用いて、前記加工を実行するステップを更に有する。
【0022】
上述の特徴は、反対のことであると特に断らない限り、互いに自由に組み合わせられてよいことに留意されたい。
【図面の簡単な説明】
【0023】
【図1】一実施形態におけるカメラ装置を示す図。
【図2】一実施形態における方法を示す図。
【図3】他の実施形態における方法を示す図。
【図4A】、
【図4B】、
【図5A】、
【図5B】、
【図6A】、
【図6B】、
【図7A】、
【図7B】、
【図8A】、
【図8B】、
【図8C】、
【図9】実施形態の機能を説明するための写真を示す図。
【発明を実施するための形態】
【0024】
以下、添付の図面を参照しながら本発明の様々な実施形態を詳細に記載する。以下の記載および図面は説明のためにのみ与えられているものであり、限定的な意味で捉えられてはならないことを理解されたい。
【0025】
図面において、様々な要素は、当業者にそれぞれの実施形態の明確な理解を与えるべく示されており、必ずしも原寸に比例して描かれてはいないことを理解されたい。同様に、異なる図は、同一または類似の要素を示していても、必ずしも互いに一定の縮尺比になっているとは限らない。
【0026】
図面における構造要素同士またはブロック同士の間に示される結合または接続はいずれも、直接接続、すなわち介在要素のない接続、によって実現されてもよいし、間接接続、すなわち1つ以上の介在要素を介した接続、によって実現されてもよいことに留意されたい。さらに、例示のための機能ブロックは独立したユニットとして示されてもよく、その一方で、反対のことであると特に断らない限り、対応する機能は、共通のユニット、例えば共通の回路またはチップ、内に実装されてもよいことを理解されたい。
【0027】
複数の特定の要素を含む実施形態の記載は、本発明を実施するためにこれらの要素がすべて必要であることを示していると解釈されてはならないことに留意されたい。それよりむしろ、他の実施形態では、より少ない要素および/または代替の要素が提供されてよい。一方、図面に示されているものに対する追加の要素が存在してもよい。
【0028】
様々な実施形態の特徴は、反対のことであると特に断らない限り、互いに組み合わせられてよい。
【0029】
本発明の範囲は、本願明細書において以下に記載されている実施形態に限定されるものではなく、添付の特許請求の範囲およびその均等の範囲によってのみ限定されるものである。
【0030】
図1に、本発明の実施形態によるカメラ装置15のブロック図を示す。図1に示されるカメラ装置15は、専用のデジタルカメラの一部であってよいし、任意の他の電子携帯装置、例えば携帯電話、パーソナルデジタルアシスタント、ポータブルゲーム装置、スマートフォンあるいはラップトップコンピュータ、に組み込まれたものであってもよい。このような装置の、本願明細書において以下に説明する実施形態の機能に直接関連しない構成要素については図示されていないことに留意されたい。例えば、カメラ装置15が携帯電話の一部である場合には、電話機能の実行に関連する携帯電話のパーツは示されていない。
【0031】
図1の実施形態のカメラ装置15は、デジタル写真を撮る、すなわちデジタル画像を記録する、デジタルカメラユニット10を含む。デジタルカメラユニット10は、任意の従来の様式で実装されればよく、通常、光を電気信号に変換する画像センサ、例えばCCDセンサ(電荷結合素子(charged-coupled device))またはCMOSセンサ(相補型金属酸化膜半導体(complementary metal oxide semiconductor))、ならびに光を画像センサ上に集める1つ以上のレンズを含む。画像センサによって記録された画像はメモリ11内に記憶されうる。メモリ11としては、フラッシュ型メモリ、ランダムアクセスメモリ、および/または他の種類のメモリで構成され、カメラ装置15の内蔵メモリとして、取り外し可能なチップカードのメモリとして、またはそれらの組み合わせとして実装されうる。
【0032】
制御部12は、例えばマイクロプロセッサを含み、メモリ11にアクセスし、すなわちメモリ11に対して読み出しおよび書き込みを行い、デジタルカメラユニット10を制御することができる。ユーザは、入力部14を介して入力を行い、制御部12によって行使される制御に影響を与えることができる。例えば、ユーザは、入力部14の特定のボタンを押すことによって、制御部12に、デジタルカメラユニット10を制御して画像を記録させることができる。他の入力には、画像を記録するための各種設定、例えば露光時間、フラッシュのアクティブ化、絞り、解像度、セルフタイマーのアクティブ化、または特定の画像記録モード、例えば白黒撮影、夜間ショット用の画像モード、のアクティブ化が含まれ、あるいは、以下にいくらかより詳細に説明される、撮影対象の被写体のジェスチャに基づく写真加工のための設定も含まれる。
【0033】
カメラ装置15は、メモリ11内に記憶されている、デジタルカメラ10によって記録された画像を処理し分析する画像プロセッサ13を更に含む。対応する画像記録モードにおいて、画像プロセッサ13は分析のために画像を準備し、それらを分析して撮影対象の被写体、特に人間、の特定の所定のジェスチャを識別することができる。もっとも、実施形態によっては、動物のジェスチャを識別できるようにしてもよい。これらのジェスチャに基づき、特定の画像操作または加工を実行することができる。そのための例は後述する。画像プロセッサ13は、図1の実施形態における制御部12によって制御されて、対応する画像記録モードにおける上述の分析および加工を実行する。
【0034】
図1の実施形態では、分析回路として独立した画像プロセッサ13が示されているが、一方、他の実施形態では、画像プロセッサ13の機能が制御部12によって、例えば制御部12のマイクロプロセッサを用いることによって、実行されてもよい。
【0035】
分析されたジェスチャに依存して実行される画像の加工は、実施形態によっては、メモリ11内に記憶されているテクスチャまたは画像パーツによる、画像パーツの置換を含んでもよいし、あるいはモーフィングアルゴリズムまたはぼかしアルゴリズムのようなアルゴリズムを用いた、写真のパーツの加工を含んでもよい。
【0036】
実施形態によっては、画像を分析することによってジェスチャが識別された後、他の画像が記録され、この他の画像に対する加工が実行される。図2に、対応する方法の実施形態が示されている。以下、図2を参照しながら記載される方法は、図1を参照しながら説明されているカメラ装置15に実装されうる。ただし、そうしなければならないというわけではない。
【0037】
20において、1つ以上の画像が記録される。単一の画像を用いる場合には、例えば静止したジェスチャが識別されればよく、その一方でさらに、2つ以上の画像を記録し分析することによって、動きのあるジェスチャ、例えば手の動き、を識別するようにしてもよい。2つ以上の画像を記録することは、一般的に画像の高速連続したものである動画を記録することによって実行されてもよいし、または2つ以上の静止画像を記録することによって実行されてもよい。
【0038】
21において、20において記録された1つ以上の画像が分析のために準備される。例えば、ジェスチャの検出を容易にするために画像または画像群のコントラストが強調されてもよい。
【0039】
22において、画像または画像群は、ジェスチャを識別するべく分析される。
【0040】
23において、識別されたジェスチャに応じて、1つ以上の加工に従って画像が加工されるべきかどうかが決定される。この決定は必ずしも識別されたジェスチャのみに基づく必要はなく、それに加えて、選択された画像記録モードやユーザ入力などの他のファクタに依存してもよい。例えば、ある加工を示すジェスチャが識別された場合、カメラ装置のユーザに、その加工を本当に実行するかどうかを問い合わせるようにしてもよい。
【0041】
24において、他の画像が記録され、25において、該他の画像が、23において決定された1または2以上の加工に対応して加工される。他の画像は、一部または全部が加工されうる複数の他の画像、例えば動画における各画像、のうちの1つであればよい。
【0042】
他の実施形態では、分析される画像は、続いて加工される画像と同じである。図3に、このような実施形態に対応する方法の例が示されている。
【0043】
30において、少なくとも1つの画像が記録される。31において、記録された画像は分析のために準備される。これは、現物を保存するために画像の複製を用いて行われればよい。ただし、そうしなければならないというわけではない。分析のための準備は、図2を参照しながら説明されたものと同じく、コントラスト強調を含んでよい。
【0044】
32において、画像は、画像の被写体のジェスチャを識別するべく分析される。33において、判定されたジェスチャに応じて、場合によっては、図2の実施形態と同じく、ユーザ入力のような他のファクタに応じて加工が決定される。34において、画像は、決定された加工に従って加工される。
【0045】
図2の22および図3の32における画像分析は、皮膚色の認識、被写体の手の指のカウント、パターン認識、ニューラルネットワーク、顔検出アルゴリズムまたは体形識別などの1つ以上のアルゴリズムを実行することを含むことができる。
【0046】
図2および3の実施形態では、ステップが省略されてもよいし、またはステップの順序が変えられてもよい。例えば、実施形態によっては、分析のための1または2以上の画像の準備が省かれてもよい。他の実施形態では、画像記録モードに基づく加工の決定が省かれてよく、方法を完全に実行するのは、対応する画像記録モードが選択される場合のみにしてもよい。図2の実施形態では、20で複数の画像が記録される場合、20から22までの方法が画像ごとに別々に順々に実行されてもよい。
【0047】
以下、例えば図2の22または図3の32において識別されうる所定のジェスチャならびに続いて実行される加工の例を、図4乃至9を参照しながら説明する。図4乃至7は特に、図2を参照しながら説明されている方法において用いられればよい例を示し、図8および9の例はどちらかといえば図3の方法に関連する。しかし、これらの例のこのような区分化はあくまで1つの可能性をなすものであり、図4乃至7において示されるジェスチャおよび加工が図3の実施形態において用いられてもよいし、図8および9において示されるジェスチャおよび加工が図2の実施形態において用いられてもよい。
【0048】
図4Aでは、撮影対象の被写体が自分の顔の前で手を下に動かすジェスチャが示されている。このようなジェスチャは、例えば、図2における20において、手が異なる位置にある複数の画像を記録し、次に、22における画像の分析の間に動きを再構築することによって識別されうる。一実施形態では、このようなジェスチャが識別されれば、動きの後、例えばその動きから所定の時間後に、他の画像が記録され、図4Bに示されるように、写真上で被写体が容易に識別され得ないように、該他の画像において被写体の頭部が特定され、ぼかされる。
【0049】
図5Aおよび5Bに、別の例が示されている。図5Aでは、撮影対象の被写体は2本の指を交差させて十字記号を形作っている。このジェスチャが識別されると、一実施形態では他の画像が記録され、この画像は、図5Bに示されるように、被写体が写真の中央で目立つように、中心位置が調整されサイズ変更される。
【0050】
図6Aおよび6Bに、更に別の例が示されている。図6Aでは、被写体が自分の手または指でほぼ長方形の枠を描くジェスチャの例が示されている。このようなジェスチャが識別されると、一実施形態では他の画像が記録され、図6Bに示されるように画像に枠が追加される。図6Bに示される画像の枠部分は、図1のメモリ11のようなメモリに記憶されている既定の模様であればよい。このような場合には、被写体が枠の中央に配置されるように、画像はさらにサイズ変更および/または中心位置の調整を受けてもよい。
【0051】
図7に、更に別の例が示されている。既定のジェスチャとして、図7Aでは、画像の被写体は自分の耳を引っ張る。これは、例えば、図7Aにおける線によって示されるように腕の特徴的な位置を検出することによって検出されればよい。
【0052】
このようなジェスチャが識別されると、他の画像が記録され、次に、図7Bに示されるように戯画的な画像を提供するべく、被写体の顔がモーフィングアルゴリズムにかけられる。
【0053】
図8Aに、更に別の例が示されている。この例では、ジェスチャは軍隊の敬礼である。一実施形態では、このようなジェスチャが識別されると、図8Bに示されるように、記録された画像内で人物の衣服が軍服で置換される。別の実施形態では、図8Cに示されるように画像の背景が軍隊の背景に変えられる。図8Bおよび8Cのこれらの2つの可能性は組み合わせられてもよい。すなわち被写体に軍服を着せて、軍隊の背景を挿入してもよい。服装および軍隊の背景のテクスチャはどちらもカメラ装置内に、例えば図1のメモリ11内に、あらかじめ記憶されていればよい。
【0054】
図9に、さらにあり得るジェスチャが示されている。図9では、被写体はカンフーのようなポーズをとっている。実施形態では、このようなジェスチャが識別されると、被写体の衣服が武術着で置換され、および/または背景が極東の背景で置換されうる。
【0055】
図6、8および9の例は、記録された画像の部分が既定のテクスチャ、模様または画像部分で置換される例である。図4および7の例は、アルゴリズム、図示の例ではぼかしアルゴリズムまたはモーフィングアルゴリズム、が写真の一部で実行される場合である。
【0056】
上述のジェスチャおよび加工はあくまで例の役割を果たしているに過ぎない。さらに、実施形態はこれらのうち可能なものを1つ実装してもよいし、2つ以上実装してもよいし、あるいは、全部を実装してもよい。実施形態によっては、説明されている加工は、対応するジェスチャが検出されるとすぐに全部実行されてもよいし、他の実施形態では、加工を実行する前に撮影者への問い合わせをしてもよい。いくつかの実施形態においてすでに説明されたとおりの、ジェスチャ識別および加工は、カメラ装置が、対応する画像記録モードに設定されるときだけ実行されてもよいが、他の実施形態では、画像記録モードの設定にかかわりなく、いつ実行されてもよい。
【0057】
以上より分かるように、複数の変形および加工が可能であり、従って、本発明は上述の実施形態によって限定されるものではなく、添付の特許請求の範囲およびその均等物によってのみ限定されることを意図している。
【特許請求の範囲】
【請求項1】
少なくとも1つの画像をデジタルで記録するデジタルカメラユニットと、
前記記録された少なくとも1つの画像の被写体のジェスチャを判定し、該判定されたジェスチャに応じて写真の加工を決定する分析回路と、
を有することを特徴とするカメラ装置。
【請求項2】
前記分析回路は、前記決定された加工に応じて、前記少なくとも1つの画像を加工することを特徴とする請求項1に記載のカメラ装置。
【請求項3】
前記カメラユニットは、更に、少なくとも1つの他の画像を記録し、
前記分析回路は、更に、前記決定された加工に応じて前記少なくとも1つの他の画像を加工する
ことを特徴とする請求項1または2に記載のカメラ装置。
【請求項4】
ユーザ入力装置を更に有し、
前記分析回路は、前記ユーザ入力装置から受信した入力に基づいて、前記加工を決定する
ことを特徴とする請求項1乃至3のいずれか1項に記載のカメラ装置。
【請求項5】
前記分析回路は、選択された画像記録モードに基づいて、前記加工を決定することを特徴とする請求項1乃至4のいずれか1項に記載のカメラ装置。
【請求項6】
前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含むことを特徴とする請求項1乃至5のいずれか1項に記載のカメラ装置。
【請求項7】
前記記録された画像の一部分は、前記記録された画像の背景、前記記録された画像の被写体の服装部分、および前記記録された画像の枠部分から成る群から選択される部分を含むことを特徴とする請求項6に記載のカメラ装置。
【請求項8】
前記加工は、前記画像の一部分を、前記記録された画像の一部分の外観を変えるアルゴリズムにかけることを含むことを特徴とする請求項1乃至7のいずれか1項に記載のカメラ装置。
【請求項9】
前記記録された画像の一部分は、前記画像の被写体の顔部分を含むことを特徴とする請求項8に記載のカメラ装置。
【請求項10】
前記アルゴリズムは、モーフィングアルゴリズムおよびぼかしアルゴリズムから成る群から選択されるアルゴリズムを含むことを特徴とする請求項9に記載のカメラ装置。
【請求項11】
前記加工は、サイズ変更と中心位置調整とを組み合わせた演算を含むことを特徴とする請求項1乃至10のいずれか1項に記載のカメラ装置。
【請求項12】
前記ジェスチャは、前記記録された画像の被写体の顔の前での手の運動、前記記録された画像の被写体による長方形の描画、前記記録された画像の被写体の頭部の耳を引っ張ること、前記記録された画像の被写体の指でプラス記号を作ること、前記記録された画像の被写体によってなされる敬礼、および前記記録された画像の被写体によってとられる武術のポーズから成る群から選択されることを特徴とする請求項1乃至11のいずれか1項に記載のカメラ装置。
【請求項13】
前記カメラ装置は、携帯電話、ポータブルゲーム装置、パーソナルデジタルアシスタント、スマートフォンおよびラップトップコンピュータから成る群から選択される電子装置の一部分であることを特徴とする請求項1乃至12のいずれか1項に記載のカメラ装置。
【請求項14】
前記分析回路は、前記分析を実行する前に、前記少なくとも1つの画像のコントラストを強調することを特徴とする請求項1乃至13のいずれか1項に記載のカメラ装置。
【請求項15】
少なくとも1つの画像を記録するステップと、
前記少なくとも1つの画像を分析して該少なくとも1つの画像の被写体によってとられるジェスチャを識別するステップと、
前記識別されたジェスチャに応じて加工を決定するステップと、
を有することを特徴とする方法。
【請求項16】
前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含むことを特徴とする請求項15に記載の方法。
【請求項17】
前記加工は、記録された画像の一部分の外観を変えるアルゴリズムを実行することを含むことを特徴とする請求項15または16に記載の方法。
【請求項18】
前記分析の前に、前記少なくとも1つの画像のコントラストを強調するステップを更に有することを特徴とする請求項15乃至17のいずれか1項に記載の方法。
【請求項19】
前記加工を、前記少なくとも1つの画像および更に記録された画像から成る群から選択される画像を用いて、前記加工を実行するステップを更に有することを特徴とする請求項15乃至18のいずれか1項に記載の方法。
【請求項1】
少なくとも1つの画像をデジタルで記録するデジタルカメラユニットと、
前記記録された少なくとも1つの画像の被写体のジェスチャを判定し、該判定されたジェスチャに応じて写真の加工を決定する分析回路と、
を有することを特徴とするカメラ装置。
【請求項2】
前記分析回路は、前記決定された加工に応じて、前記少なくとも1つの画像を加工することを特徴とする請求項1に記載のカメラ装置。
【請求項3】
前記カメラユニットは、更に、少なくとも1つの他の画像を記録し、
前記分析回路は、更に、前記決定された加工に応じて前記少なくとも1つの他の画像を加工する
ことを特徴とする請求項1または2に記載のカメラ装置。
【請求項4】
ユーザ入力装置を更に有し、
前記分析回路は、前記ユーザ入力装置から受信した入力に基づいて、前記加工を決定する
ことを特徴とする請求項1乃至3のいずれか1項に記載のカメラ装置。
【請求項5】
前記分析回路は、選択された画像記録モードに基づいて、前記加工を決定することを特徴とする請求項1乃至4のいずれか1項に記載のカメラ装置。
【請求項6】
前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含むことを特徴とする請求項1乃至5のいずれか1項に記載のカメラ装置。
【請求項7】
前記記録された画像の一部分は、前記記録された画像の背景、前記記録された画像の被写体の服装部分、および前記記録された画像の枠部分から成る群から選択される部分を含むことを特徴とする請求項6に記載のカメラ装置。
【請求項8】
前記加工は、前記画像の一部分を、前記記録された画像の一部分の外観を変えるアルゴリズムにかけることを含むことを特徴とする請求項1乃至7のいずれか1項に記載のカメラ装置。
【請求項9】
前記記録された画像の一部分は、前記画像の被写体の顔部分を含むことを特徴とする請求項8に記載のカメラ装置。
【請求項10】
前記アルゴリズムは、モーフィングアルゴリズムおよびぼかしアルゴリズムから成る群から選択されるアルゴリズムを含むことを特徴とする請求項9に記載のカメラ装置。
【請求項11】
前記加工は、サイズ変更と中心位置調整とを組み合わせた演算を含むことを特徴とする請求項1乃至10のいずれか1項に記載のカメラ装置。
【請求項12】
前記ジェスチャは、前記記録された画像の被写体の顔の前での手の運動、前記記録された画像の被写体による長方形の描画、前記記録された画像の被写体の頭部の耳を引っ張ること、前記記録された画像の被写体の指でプラス記号を作ること、前記記録された画像の被写体によってなされる敬礼、および前記記録された画像の被写体によってとられる武術のポーズから成る群から選択されることを特徴とする請求項1乃至11のいずれか1項に記載のカメラ装置。
【請求項13】
前記カメラ装置は、携帯電話、ポータブルゲーム装置、パーソナルデジタルアシスタント、スマートフォンおよびラップトップコンピュータから成る群から選択される電子装置の一部分であることを特徴とする請求項1乃至12のいずれか1項に記載のカメラ装置。
【請求項14】
前記分析回路は、前記分析を実行する前に、前記少なくとも1つの画像のコントラストを強調することを特徴とする請求項1乃至13のいずれか1項に記載のカメラ装置。
【請求項15】
少なくとも1つの画像を記録するステップと、
前記少なくとも1つの画像を分析して該少なくとも1つの画像の被写体によってとられるジェスチャを識別するステップと、
前記識別されたジェスチャに応じて加工を決定するステップと、
を有することを特徴とする方法。
【請求項16】
前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含むことを特徴とする請求項15に記載の方法。
【請求項17】
前記加工は、記録された画像の一部分の外観を変えるアルゴリズムを実行することを含むことを特徴とする請求項15または16に記載の方法。
【請求項18】
前記分析の前に、前記少なくとも1つの画像のコントラストを強調するステップを更に有することを特徴とする請求項15乃至17のいずれか1項に記載の方法。
【請求項19】
前記加工を、前記少なくとも1つの画像および更に記録された画像から成る群から選択される画像を用いて、前記加工を実行するステップを更に有することを特徴とする請求項15乃至18のいずれか1項に記載の方法。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9】
【公表番号】特表2012−527139(P2012−527139A)
【公表日】平成24年11月1日(2012.11.1)
【国際特許分類】
【出願番号】特願2012−510120(P2012−510120)
【出願日】平成21年11月3日(2009.11.3)
【国際出願番号】PCT/EP2009/007872
【国際公開番号】WO2010/130278
【国際公開日】平成22年11月18日(2010.11.18)
【出願人】(502087507)ソニーモバイルコミュニケーションズ, エービー (823)
【Fターム(参考)】
【公表日】平成24年11月1日(2012.11.1)
【国際特許分類】
【出願日】平成21年11月3日(2009.11.3)
【国際出願番号】PCT/EP2009/007872
【国際公開番号】WO2010/130278
【国際公開日】平成22年11月18日(2010.11.18)
【出願人】(502087507)ソニーモバイルコミュニケーションズ, エービー (823)
【Fターム(参考)】
[ Back to top ]