画像処理装置およびプログラム
【課題】撮像画像中のプライバシー領域の保護および有効活用を同時に実現するための画像処理装置およびプログラムを提供する。
【解決手段】撮像画像からプライバシー領域を特定する領域特定部と、前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、を備える画像処理装置。
【解決手段】撮像画像からプライバシー領域を特定する領域特定部と、前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
近日、デジタルスチルカメラやビデオカメラなどの撮像装置によって取得された撮像画像の加工、編集処理が広く行われている。例えば、特許文献１には、背景シーンおよび前景シーンを組み合わせて複合ビデオイメージを得る際に、背景シーン内に存在する所定のパターンを、前景シーン内に存在する代替パターンで置き換える技術が開示されている。
【０００３】
また、特許文献２には、コンピュータゲームの看板や、ＴＶ放送されるスポーツスタジアムの看板なとの広告内容を変更するシステムが開示されている。また、特許文献３には、撮像画像から看板の部分などの特定の領域を検出し、その特定の領域に例えば他の広告内容を示す画像を挿入する技術が開示されている。
【０００４】
また、情報通信技術の発展に伴い、撮像画像を不特定多数の人物にインターネットを介して容易に提供することが可能となっている。このため、プライバシーの保護のために、撮像画像中でプライバシーに関わる領域は、モザイク処理や黒塗り処理などの特殊加工が施されることが多い。また、テレビジョン放送されるコンテンツや、光ディスクに記録されたコンテンツでも、不適切な画像や秘匿情報などに特殊加工が施されることは周知の通りである。なお、モザイク処理や黒塗り処理などの特殊加工については例えば特許文献４に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表平０６−５１０８９３号公報
【特許文献２】特開２００２−１５２２３号公報
【特許文献３】特開２００８−２２７８１３号公報
【特許文献４】特開２００９−１９４６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、モザイク処理や黒塗り処理などの特殊加工によりプライバシー領域を保護することはできても、特殊加工が施されたプライバシー領域は、情報が失われていたり、劣化していたりするので、特殊加工が施されたプライバシー領域からは視覚的な情報がほとんど得られない。
【０００７】
そこで、本開示では、撮像画像中のプライバシー領域の保護および有効活用を同時に実現することが可能な、新規かつ改良された画像処理装置およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、撮像画像からプライバシー領域を特定する領域特定部と、前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、コンピュータを、撮像画像からプライバシー領域を特定する領域特定部と、前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、撮像画像中のプライバシー領域の保護および有効活用を同時に実現することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態による画像処理システムの構成を示した説明図である。
【図２】撮像画像の具体例を示した説明図である。
【図３】第１の実施形態による携帯端末２０−１の構成を示した機能ブロック図である。
【図４】画像処理部２５２による画像処理後の撮像画像の具体例を示した説明図である。
【図５】第１の実施形態による携帯端末２０−１の動作を示したフローチャートである。
【図６】第１の実施形態の変形例を示したシーケンス図である。
【図７】第１の実施形態による携帯端末２０−２の構成を示した機能ブロック図である。
【図８】局所領域を含む撮像画像の具体例を示した説明図である。
【図９】局所領域を含む撮像画像の他の具体例を示した説明図である。
【図１０】局所領域を含む撮像画像の他の具体例を示した説明図である。
【図１１】局所領域を含む撮像画像の他の具体例を示した説明図である。
【図１２】画像処理部２５４による画像処理後の撮像画像の具体例を示した説明図である。
【図１３】画像処理部２５４による画像処理後の撮像画像の他の具体例を示した説明図である。
【図１４】第２の実施形態による携帯端末２０−２の動作を示したフローチャートである。
【図１５】コード情報が挿入された撮像画像の具体例を示す説明図である。
【図１６】コード情報が挿入された撮像画像の具体例を示す説明図である。
【図１７】携帯端末２０のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１４】
また、以下に示す項目順序に従って本開示を説明する。
１．画像処理システムの構成
２．用語の整理
３．第１の実施形態
３−１．第１の実施形態の背景
３−２．第１の実施形態による携帯端末の構成
３−３．第１の実施形態による携帯端末の動作
３−４．変形例
４．第２の実施形態
４−１．第２の実施形態の背景
４−２．第２の実施形態による携帯端末の構成
４−３．第２の実施形態による携帯端末の動作
５．第１の実施形態および第２の実施形態の補足
６．ハードウェア構成
７．むすび
【００１５】
＜１．画像処理システムの構成＞
本開示による技術は、一例として「２．第１の実施形態」〜「４．第３の実施形態」において詳細に説明するように、多様な形態で実施され得る。以下では、まず、各実施形態において共通する画像処理システムの基本構成について図１を参照して説明する。
【００１６】
図１は、本開示の実施形態による画像処理システムの構成を示した説明図である。図１に示したように、本開示の実施形態による画像処理システムは、画像提供サーバ１０、携帯端末２０、人物認識サーバ３０およびＳＮＳサーバ４０を備える。
【００１７】
これらの画像提供サーバ１０、携帯端末２０、人物認識サーバ３０およびＳＮＳサーバ４０は、図１に示したように、通信網１２を介して接続される。なお、通信網１２は、通信網１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００１８】
画像提供サーバ１０は、撮像装置によって取得された撮像画像を提供する。例えば、画像提供サーバ１０は、地図上の多地点における撮像画像を記憶しており、携帯端末２０からの要求に応じ、記憶している撮像画像を携帯端末２０に提供してもよい。または、画像提供サーバ１０は、個人または業者のＷｅｂページを管理しており、携帯端末２０からの要求に応じて撮像画像を含むＷｅｂページを携帯端末２０に提供してもよい。
【００１９】
携帯端末２０は、撮像画像を取得し、取得した撮像画像を処理する画像処理装置である。この携帯端末２０は、多様な方法により撮像画像を取得することができる。例えば、携帯端末２０は、図１に示した画像提供サーバ１０から撮像画像を取得してもよいし、携帯端末２０が有する撮像機能により撮像画像を取得してもよいし、記録媒体の再生により撮像画像を取得してもよい。さらに、携帯端末２０は、放送を受信することにより撮像画像を取得してもよい。
【００２０】
なお、図１においては、携帯端末２０の一例としてスマートフォンを示しているが、携帯端末２０はスマートフォンに限定されない。例えば、携帯端末２０は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などであってもよい。さらに、携帯端末２０は本開示による画像処理装置の一例に過ぎない。本開示による画像処理装置の機能は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置によっても実現可能である。さらに、画像提供側である画像提供サーバ１０を本開示による画像処理装置として機能させることも可能である。
【００２１】
人物認識サーバ３０は、人物の顔画像を画像解析することにより、当該人物が誰かを認識する。例えば、人物認識サーバ３０は、人物ごとの顔特徴量を記憶するデータベースを有し、顔パターンマッチングにより撮像画像から顔画像を検出し、顔画像の特徴量を解析し、解析した特徴量に対応する人物をデータベースから検索することにより人物認識を行う。
【００２２】
ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）サーバ４０は、人と人とのつながりを支援するサービスを提供する。例えば、ＳＮＳサーバ４０は、各ユーザのＷｅｂページを管理する。ユーザは、自身のＷｅｂページにおいて、年齢、性別、趣味、出身、居住地域などのプロフィール情報や、日記（ブログ）を公開することにより、新たな人間関係を構築することが可能となる。
【００２３】
以上、本開示による画像処理システムの基本構成を説明した。続いて、本実施形態の説明において用いられる用語について整理した後に、本開示の各実施形態について詳細に説明する。
【００２４】
＜２．用語の整理＞
以下、本実施形態の説明において用いられる用語について説明する。ただし、下記に示す内容は各用語の意味の一例に過ぎず、本願においては、下記に示す内容と異なる意味で各用語を用いる場合もあることに留意されたい。
【００２５】
（プライバシー／プライバシー領域）
プライバシーは、個人の私生活、私事に関する事項である。また、プライバシー領域は、撮像画像中で、プライバシーに関わる領域である。以下、図２を参照し、プライバシーおよびプライバシー領域についてより具体的に説明する。
【００２６】
図２は、撮像画像の具体例を示した説明図である。図２に示した撮像画像には、車両５１、家５２および５３、人物５４が含まれる。同時に、この撮像画像には、多くのプライバシーおよびプライバシー領域が含まれる。
【００２７】
例えば、車両５１はナンバープレート６１によって識別されるので、車両５１をナンバープレート６１と共に含む撮像画像は、車両５１の利用者がこの撮像画像の撮像地点に存在したというプライバシーを示す。このため、ナンバープレート６１は、個人の私生活、私事を示すプライバシーに関わる領域であるので、プライバシー領域に該当する。なお、図２においては車両５１として４輪車を示しているが、車両５１はオートバイや大型車などであってもよい。
【００２８】
また、図２に示したように、家５２のベランダに干された洗濯物６２を含む撮像画像は、家５２の住人が着用する衣服というプライバシーを示す。このため、洗濯物６２は、個人の私生活、私事を示すプライバシーに関わる領域であるので、プライバシー領域に該当する。
【００２９】
また、図２に示したように、家５３の表札６３を含む撮像画像は、表札６３の示す人物が家５３に住んでいるというプライバシーを示す。このため、表札６３は、個人の私生活、私事を示すプライバシーに関わる領域であるので、プライバシー領域に該当する。
【００３０】
また、顔により人物が認識され得るので、図２に示したように、人物５４を顔６４と共に含む撮像画像は、人物５４がこの撮像画像の撮像地点に存在したというプライバシーを示す。このため、顔６４は、個人の私生活、私事を示すプライバシーに関わる領域であるので、プライバシー領域に該当する。
【００３１】
（特殊加工）
撮像画像の一部を構成する局所領域から視覚的な情報量を制限するための画像処理である。特殊加工の一例としては、モザイク処理、ぼかし処理、および塗りつぶし処理などが挙げられる。なお、このような特殊加工は、人物の顔や車両のナンバープレートのようなプライバシー領域に対して施される場合も多い。このため、特殊加工が施された局所領域をプライバシー領域として扱うことも可能である。
【００３２】
＜３．第１の実施形態＞
以上、本実施形態の説明において用いられる用語について説明した。続いて、本開示の第１の実施形態について詳細に説明する。
【００３３】
［３−１．第１の実施形態の背景］
近日、情報通信技術の発展に伴い、撮像画像を不特定多数の人物に例えば通信網１２を介して容易に提供することが可能となっている。このため、プライバシーの保護のために、撮像画像中のプライバシー領域には、モザイク処理や黒塗り処理などの特殊加工が施されることが多い。
【００３４】
しかし、モザイク処理や黒塗り処理などの特殊加工によりプライバシー領域を保護することはできても、特殊加工が施されたプライバシー領域は、情報が失われていたり、劣化していたりするので、特殊加工が施されたプライバシー領域からは視覚的な情報がほとんど得られない。
【００３５】
そこで、上記事情を一着眼点にして本開示の第１の実施形態を創作するに至った。本開示の第１の実施形態によれば、撮像画像中のプライバシー領域の保護および有効活用を同時に実現することが可能である。以下、このような本開示の第１の実施形態について詳細に説明する。
【００３６】
［３−２．第１の実施形態による携帯端末の構成］
図３は、第１の実施形態による携帯端末２０−１の構成を示した機能ブロック図である。図３に示したように、第１の実施形態による携帯端末２０−１は、システムコントローラ２２０と、撮像部２２４と、通信部２２８と、ストレージ部２３２と、操作入力部２３６と、プライバシー領域特定部２４０と、挿入領域設定部２４４と、画像取得部２４８と、画像処理部２５２と、表示制御部２５６と、表示部２６０と、を備える。
【００３７】
（システムコントローラ）
システムコントローラ２２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、携帯端末２０−１の動作全般を制御する。なお、図３においては、プライバシー領域特定部２４０、挿入領域設定部２４４、画像処理部２５２、および表示制御部２５６などの機能ブロックをシステムコントローラ２２０と別個に示しているが、プライバシー領域特定部２４０、挿入領域設定部２４４、画像処理部２５２、および表示制御部２５６などの機能はシステムコントローラ２２０によって実現されてもよい。
【００３８】
（撮像部）
撮像部２２４は、被写体を撮像して撮像画像を取得する。具体的には、撮像部２２４は、撮影レンズおよびズームレンズなどの撮影光学系、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像信号処理部を備える。
【００３９】
撮影光学系は、被写体から発せられる光を集光して、撮像素子の撮像面に被写体像を形成する。撮像素子は、撮影光学系によって形成された被写体像を電気的な画像信号に変換する。撮像信号処理部は、撮像素子によって得られる画像信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像を得る。また、撮像信号処理部は、撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
【００４０】
このような撮像部２２４は、システムコントローラ２２０の制御に従い、取得した撮像画像を通信部２２８、ストレージ部２３２、プライバシー領域特定部２４０、または表示制御部２５６へ供給する。なお、撮像部２２４は、システムコントローラ２２０の指示に基づいて、撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う撮像制御部としての機能を包含する。
【００４１】
（通信部）
通信部２２８は、外部機器とのインタフェースであって、外部機器と無線または有線により通信する。例えば、通信部２２８は、通信網１２を介して、画像提供サーバ１０、人物認識サーバ３０およびＳＮＳサーバなどと通信することはできる。なお、通信部２２８の通信方式としては、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などが挙げられる。
【００４２】
（ストレージ部）
ストレージ部２３２は、各種データの保存に用いられる。例えば、ストレージ部２３２は、本実施形態による処理対象である撮像画像、撮像画像に挿入するための挿入画像、および後述する画像処理部２５２による処理後の画像を保存する。このストレージ部２３２は、システムコントローラ２２０の制御に従い、各種データの記録／保存や、読出しなどを行う。
【００４３】
なお、ストレージ部２３２は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＤカード、マイクロＳＤカード、ＵＳＢメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。
【００４４】
（操作入力部）
操作入力部２３６は、ユーザが操作入力を行うための構成である。操作入力部２３６は、ユーザ操作に応じた信号を生成し、システムコントローラ２２０に供給する。この操作入力部２３６は、例えば、タッチパネル、ボタン、スイッチ、レバー、ダイヤルなどの操作子や、リモートコントローラが発生する赤外線信号用の受光部あるいは無線信号の受信部などであってもよい。さらに、操作入力部２３６は、加速度センサ、角速度センサ、振動センサ、圧力センサなどのセンシングデバイスであってもよい。
【００４５】
（プライバシー領域特定部）
プライバシー領域特定部２４０は、撮像画像からプライバシー領域を特定する。なお、撮像画像は、撮像部２２４によって取得された画像、ストレージ部２３２から読み出し／再生された画像、または通信部２２８を介して画像取得部２４８により取得された画像であってもよい。
【００４６】
また、「２．用語の整理」において説明したように、多様な対象がプライバシー領域として想定される。このため、プライバシー領域特定部２４０は、対象ごとに異なる手法でプライバシー領域を特定する。
【００４７】
例えば、プライバシー領域特定部２４０は、顔パターンマッチングを用いる既存の顔検出手法により撮像画像から顔を検出し、検出した顔を含む領域をプライバシー領域として特定してもよい。
【００４８】
また、プライバシー領域特定部２４０は、撮像画像内で、車両のナンバープレートや家の表札のように、文字が含まれる矩形領域を検出し、検出した矩形領域をプライバシー領域として特定してもよい。例えば、プライバシー領域特定部２４０は、撮像画像内で輪郭線が長方形、台形、および平行四辺形であるような矩形領域を検出する。さらに、プライバシー領域特定部２４０は、矩形領域を検出した場合、矩形領域の内側に文字が含まれるか否かを判断する。そして、プライバシー領域特定部２４０は、矩形領域の内側に文字が含まれる場合、当該矩形領域をプライバシー領域として特定する。
【００４９】
また、プライバシー領域特定部２４０は、撮像画像内で、干された洗濯物が含まれる領域を検出し、検出した領域をプライバシー領域として特定してもよい。ここで、洗濯物の衣服は、人物によって着用されていない。また、洗濯物の衣服は複数並べて干されることが多い。そこで、プライバシー領域特定部２４０は、撮像画像から衣服を検出し、当該衣服が人物によって着用されておらず、当該衣服に隣接する衣服が存在し、隣接する衣服も人物によって着用されていない場合に、これら衣服を含む領域をプライバシー領域として特定してもよい。
【００５０】
（挿入領域設定部）
挿入領域設定部２４４は、プライバシー領域特定部２４０により特定されたプライバシー領域を、後述する挿入画像を挿入するための挿入領域に設定する。なお、挿入領域設定部２４４は、プライバシー領域の全域または一部の領域を挿入領域に設定してもよい。
【００５１】
（画像取得部）
画像取得部２４８は、本実施形態による画像処理の対象とする撮像画像、および撮像画像に挿入するための挿入画像など画像を取得する。例えば、画像取得部２４８は、通信部２２８を介して画像提供サーバ１０から画像を取得してもよいし、ストレージ部２３２からの再生／読出しにより画像を取得してもよい。
【００５２】
（画像処理部）
画像処理部２５２は、挿入領域設定部２４４により設定された撮像画像中の挿入領域に、挿入画像を挿入する。ここで、挿入は、挿入領域内の画像に挿入画像を上書きする処理であってもよいし、挿入領域内の画像を挿入画像と入れ換える処理であってもよい。また、挿入画像は、撮像部２２４によって取得された画像、ストレージ部２３２から読み出し／再生された画像、または通信部２２８を介して画像取得部２４８により取得された画像であってもよい。画像処理部２５２は、このような挿入画像を、挿入領域の形状や大きさに合うように加工し、挿入領域に挿入する。
【００５３】
また、画像処理部２５２が挿入画像として用いる画像は、挿入領域（プライバシー領域）内の画像と異なる情報であって、挿入領域内の画像と関連性を有してもよい。
【００５４】
例えば、挿入領域内の画像がナンバープレートである場合、挿入画像は、例えば、車両のメーカー情報または車種情報、メーカーや製品の広告情報を含んでもよい。また、挿入画像は、車両や車両関連商品、関連パーツの購入サイトへのリンク情報を含んでもよい。この場合、ユーザは、挿入画像を選択することにより携帯端末２０−１をリンク先に接続させることが可能である。
【００５５】
また、挿入領域内の画像が表札である場合、挿入画像は、例えば、不動産の販売情報、および不動産業者やリハウス業者情報の広告情報を含んでもよい。また、挿入画像は、不動産の購入サイト、または不動産業者およびリハウス業者などのホームページのリンク情報を含んでもよい。
【００５６】
また、挿入領域内の画像が洗濯物である場合、挿入画像は、クリーニング屋の広告情報や、衣料品販売店の広告情報を含んでもよい。また、挿入画像は、クリーニング屋や衣料品販売店のホームページや、衣料品の購入サイトへのリンク情報を含んでもよい。
【００５７】
また、挿入領域内の画像が人物の顔である場合、挿入画像は、エステ、眼鏡、およびコンタクトレンズなどの広告情報を含んでもよい。
【００５８】
また、挿入領域内の画像が人物の顔である場合、挿入画像は、当該人物に関して公開されている情報であってもよい。例えば、挿入領域内の画像が人物の顔である場合、携帯端末２０−１は、人物認識サーバ３０に当該人物の認識を要求し、認識された人物に関してＳＮＳサーバ４０において公開されている情報を取得してもよい。この場合、人物の年齢および性別などのプロフィール情報を挿入画像として用いることが可能となる。なお、携帯端末２０−１が人物認識機能を有する場合には、携帯端末２０−１が挿入領域内の顔を有する人物を認識してもよい。
【００５９】
また、画像処理部２５２は、当該人物がブログを公開しているＷｅｂページのリンク情報を挿入画像に設定してもよい。撮像画像に含まれる人物は、撮像画像の撮像位置に存在したので、撮像位置の周辺に関する事項をブログで公開している可能性がある。例えば、撮像画像の撮像位置が観光スポットや商店街である場合、当該人物は、ブログにおいて観光スポットや商店街に関する感想や意見などを公開している可能性がある。このため、上記のようにＷｅｂページのリンク情報を挿入画像に設定することにより、撮像画像の撮像位置の周辺情報を知りたい携帯端末２０−１のユーザを支援することが可能となる。
【００６０】
なお、上記では、挿入画像の一例として広告情報を説明したが、撮像画像の画像ファイルに撮像位置を示す位置情報が設定されている場合、画像処理部２５２は、撮像位置の近辺の対象に関する広告情報を優先的に挿入画像として用いてもよい。または、携帯端末２０−１が位置推定機能を有する場合、画像処理部２５２は、携帯端末２０−１の現在位置の近辺の対象に関する広告情報を優先的に挿入画像として用いてもよい。かかる構成により、携帯端末２０−１のユーザに対する広告情報の訴求効果を高めることが可能である。
【００６１】
ここで、図４を参照し、上述した画像処理部２５２による画像処理後の撮像画像の具体例を説明する。
【００６２】
図４は、画像処理部２５２による画像処理後の撮像画像の具体例を示した説明図である。より詳細には、図４には、図２に示した撮像画像の画像処理部２５２による画像処理後の状態を示している。図４に示したように、図２に示した撮像画像に含まれるプライバシー領域６１〜６４内の画像は、挿入画像７１〜７４に入れ換えられる。
【００６３】
例えば、プライバシー領域である車両５１のナンバープレート６１は、図４に示したように、「ＴＯＹＯＨＡ セール中」という、車両５１のメーカーの広告情報を含む挿入画像７１に入れ換えられる。
【００６４】
また、家５２の洗濯物６２は、図４に示したように、「クリーニングの佐藤 ○○駅前」という、クリーニング屋の広告情報を含む挿入画像７２に入れ換えられる。また、家５３の表札６３は、図４に示したように、「○○駅前 新築物件公開！」という、不動産の販売情報を含む挿入画像７３に入れ換えられる。
【００６５】
また、人物５４の顔６４は、図４に示したように、「ブログはここをクリック！」という、Ｗｅｂページへの誘導情報を含む挿入画像７４に入れ換えられる。なお、この挿入画像７４にはリンク情報が設定されており、ユーザにより挿入画像７４が選択された場合、携帯端末２０−１はリンク先のＷｅｂページへアクセスすることが可能である。なお、画像処理部２５２は、人物５４の顔６４を、年齢および性別などのプロフィール情報に応じた擬似顔画像と入れ換えてもよい。かかる構成によれば、画像処理後の撮像画像から、撮像画像の撮像位置付近をどのような人物が通る傾向にあるかを把握することが可能となる。
【００６６】
なお、上述した画像処理部２５２による画像処理後の撮像画像の用途は特に限定されない。例えば、画像処理後の撮像画像は、表示部２６０に表示されてもよいし、ストレージ部２３２に保持されてもよいし、通信部２２８を介して外部機器に送信されてもよい。
【００６７】
また、同一画像に同一の広告情報が含まれると宣伝効率が悪いので、画像処理部２５２は、撮像画像に複数のプライバシー領域（挿入領域）が含まれる場合、各プライバシー領域に異なる挿入画像を挿入してもよい。ただし、挿入画像の種類がプライバシー領域の数未満である場合、画像処理部２５２は、例外的に同一の挿入画像を異なるプライバシー領域に挿入してもよいし、一部のプライバシー領域にモザイク処理や塗りつぶし処理等の特殊加工を施してもよい。
【００６８】
（表示制御部）
表示制御部２５６は、システムコントローラ２２０の制御に基づいて、表示部２６０の画素駆動回路を駆動し、表示部２６０に画像を表示させる。例えば、表示制御部２５６は、画像処理部２５２による画像処理後の撮像画像を表示部２６０に表示させてもよい。なお、表示制御部２５６は、画像表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成なども行うことができる。
【００６９】
（表示部）
表示部２６０は、画素駆動回路を含み、表示制御部２５６の制御に従って画素駆動回路を駆動して画像を表示する。なお、表示部２６０は、液晶ディスプレイであってもよいし、有機ＥＬディスプレイであってもよい。
【００７０】
［３−３．第１の実施形態による携帯端末の動作］
以上、第１の実施形態による携帯端末２０−１の構成を説明した。続いて、図５を参照し、第１の実施形態による携帯端末２０−１の動作を説明する。
【００７１】
図５は、第１の実施形態による携帯端末２０−１の動作を示したフローチャートである。図５に示したように、まず、携帯端末２０−１が撮像画像を取得すると（Ｓ１１０）、プライバシー領域特定部２４０が、撮像画像内にプライバシー領域があるか否かを判断する（Ｓ１２０）。なお、携帯端末２０−１は、撮像部２２４により撮像画像を取得してもよいし、ストレージ部２３２の読出し／再生により撮像画像を取得してもよいし、通信部２２８を介して撮像画像を取得してもよい。
【００７２】
そして、撮像画像内にプライバシー領域がある場合、プライバシー領域特定部２４０が、人物の顔やナンバープレートなどのプライバシー領域を特定し（Ｓ１３０）、挿入領域設定部２４４が、プライバシー領域特定部２４０により特定されたプライバシー領域を、挿入画像を挿入するための挿入領域に設定する（Ｓ１４０）。
【００７３】
続いて、画像処理部２５２は、挿入領域内の画像に関連する挿入画像を取得し、必要に応じて挿入画像を加工する（Ｓ１５０）。そして、画像処理部２５２は、挿入領域設定部２４４により設定された挿入領域内に挿入画像を挿入する、すなわち、挿入領域内の画像を挿入画像と入れ換える（Ｓ１６０）。
【００７４】
その後、携帯端末２０−１は、撮像画像からプライバシー領域が検出されなくなるまで、Ｓ１３０〜Ｓ１６０の処理を繰り返す（Ｓ１２０）。そして、撮像画像からプライバシー領域が検出されなくなると、画像処理部２５２によりプライバシー領域が挿入画像と入れ換えられた撮像画像を表示制御部２５６が表示部２６０に表示させる（Ｓ１７０）。
【００７５】
なお、図５においては、１つのプライバシー領域ごとにＳ１３０〜Ｓ１６０の処理が繰り返される例を示しているが、最初に全てのプライバシー領域を特定し、各ステップにおいて全てのプライバシー領域に関する処理を行った後に、次のステップに移行してもよい。
【００７６】
以上説明したように、本開示の第１の実施形態によれば、撮像画像に含まれるプライバシー領域を保護すると同時に、プライバシー領域に有用な情報を含む画像を挿入することができる。かかる構成により、撮像画像中のプライバシー領域を有効活用や、画像の付加価値の向上を実現することが可能である。
【００７７】
［３−４．変形例］
なお、上記では携帯端末２０−１がプライバシー領域の特定や画像挿入を行う例を説明したが、上述した処理を複数の装置が協働して実現することも可能である。以下、変形例として、画像提供サーバ１０および携帯端末２０−１が協働して第１の実施形態の処理を実現する例を説明する。
【００７８】
図６は、第１の実施形態の変形例を示したシーケンス図である。図６に示したように、変形例においては、画像提供サーバ１０が撮像画像中のプライバシー領域を特定し（Ｓ３１０）、プライバシー領域を挿入画像の挿入領域に設定する（Ｓ３２０）。そして、画像提供サーバ１０は、撮像画像、および挿入領域の設定情報を携帯端末２０−１に送信する（Ｓ３３０）。
【００７９】
その後、携帯端末２０−１の例えば画像取得部２４８が挿入画像を取得し、画像処理部２５２が挿入画像を必要に応じて加工する。そして、画像処理部２５２が、挿入領域内に挿入画像を挿入する、すなわち、挿入領域内の画像を挿入画像と入れ換える（Ｓ３５０）。
【００８０】
このように、プライバシー領域の特定と、挿入画像の挿入を異なる装置で行うことも可能であり、この場合にも、撮像画像中のプライバシー領域を有効活用、および画像の付加価値の向上などを実現することができる。
【００８１】
＜４．第２の実施形態＞
以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。
【００８２】
［４−１．第２の実施形態の背景］
第１の実施形態の背景としても説明したように、近日、プライバシーの保護のために、撮像画像中のプライバシー領域には、モザイク処理や黒塗り処理などの特殊加工が施されることが多い。また、テレビジョン放送されるコンテンツや、光ディスクに記録されたコンテンツでも、不適切な画像や秘匿情報などに特殊加工が施されることは周知の通りである。
【００８３】
しかし、モザイク処理や黒塗り処理などの特殊加工によりプライバシー情報などを保護することはできても、特殊加工が施された局所領域は、情報が失われていたり、劣化していたりするので、特殊加工が施された局所領域からは視覚的な情報がほとんど得られない。このため、特殊加工が施された撮像画像は情報伝達の効率が悪い。
【００８４】
そこで、上記事情を一着眼点にして本開示の第２の実施形態を創作するに至った。本開示の第２の実施形態によれば、特殊加工が施された撮像画像の情報伝達の効率性、付加価値、および利便性などを向上すること可能である。以下、このような本開示の第２の実施形態について詳細に説明する。
【００８５】
［４−２．第２の実施形態による携帯端末の構成］
図７は、第１の実施形態による携帯端末２０−２の構成を示した機能ブロック図である。図７に示したように、第２の実施形態による携帯端末２０−２は、システムコントローラ２２０と、撮像部２２４と、通信部２２８と、ストレージ部２３２と、操作入力部２３６と、局所領域特定部２４２と、挿入領域設定部２４６と、画像取得部２４８と、画像処理部２５４と、表示制御部２５６と、表示部２６０と、を備える。システムコントローラ２２０、撮像部２２４、通信部２２８、ストレージ部２３２、操作入力部２３６、画像取得部２４８、表示制御部２５６、および表示部２６０の構成は第１の実施形態において説明した通りであるので、ここでの詳細な説明は省略する。
【００８６】
（局所領域特定部）
局所領域特定部２４２は、撮像画像から、視覚的な情報量を制限する特殊加工が施された局所領域を特定する。ここで、「２．用語の整理」において説明したように、多様な画像加工処理が特殊加工として想定される。このため、局所領域特定部２４２は、特殊加工が施された局所領域を、モザイク処理、ぼかし処理、および塗りつぶし処理など特殊加工の種類に応じて異なる手法で特定する。以下、図８および図９を参照してより具体的に説明する。
【００８７】
図８は、局所領域を含む撮像画像の具体例を示した説明図である。図８に示した撮像画像には、特殊加工が施された複数の局所領域８１〜８４が含まれる。例えば、局所領域８１は、車両５１のナンバープレートの領域に該当するが、ぼかし処理が施されているので、ナンバープレートの内容を判別することは困難である。同様に、局所領域８２〜８４にもぼかし処理が施されており、処理前の画像の内容を判別することは困難である。
【００８８】
局所領域特定部２４２は、このようなぼかし処理が施された局所領域を、撮像画像の各領域の周波数成分を解析することにより特定してもよい。例えば、ぼかし処理が施された領域では高周波成分が低いと考えられるので、局所領域特定部２４２は、周辺と比較して高周波成分が低い領域を局所領域として特定してもよい。
【００８９】
図９および図１０は、局所領域を含む撮像画像の他の具体例を示した説明図である。図９に示した撮像画像に含まれる局所領域８５は、塗りつぶし処理が施された人物５５の目線の領域である。目線は人物の識別性が高いので、目線が塗りつぶされた当該画像からは人物５５を識別することは困難である。同様に、図１０に示した撮像画像には、局所領域８１’〜８４’が含まれる。これら局所領域８１’〜８４’には塗りつぶし処理が施されているので、本来の表札やナンバープレートなどの情報を視認することは困難である。
【００９０】
局所領域特定部２４２は、このような塗りつぶし処理が施された局所領域を、撮像画像のエッジ成分の検出により特定してもよい。また、塗りつぶし処理は矩形領域に施されることが多いので、局所領域特定部２４２は、エッジ成分の検出により特定した輪郭形状が矩形である場合に、当該矩形内の領域を局所領域として特定してもよい。
【００９１】
図１１は、局所領域を含む撮像画像の他の具体例を示した説明図である。図１１に示した撮像画像には、局所領域８１”〜８４”が含まれる。これら局所領域８１”〜８４”にはモザイク処理が施されているので、本来の表札やナンバープレートなどの情報を視認することは困難である。このようなモザイク処理が施された局所領域は、画素ブロックの集合であり、同一の画素ブロックを構成する画素は同一成分を有すると考えられる。そこで、局所領域特定部２４２は、同一成分を有する画素ブロックの集合を局所領域として特定してもよい。
【００９２】
（挿入領域設定部）
挿入領域設定部２４６は、局所領域特定部２４２により特定された局所領域を、後述する挿入画像を挿入するための挿入領域に設定する。なお、挿入領域設定部２４４は、局所領域の全域または一部の領域を挿入領域に設定してもよい。
【００９３】
（画像処理部）
画像処理部２５４は、挿入領域設定部２４６により設定された撮像画像中の挿入領域に、挿入画像を挿入する。ここで、挿入は、挿入領域内の画像に挿入画像を上書きする処理であってもよいし、挿入領域内の画像を挿入画像と入れ換える処理であってもよい。また、挿入画像は、撮像部２２４によって取得された画像、ストレージ部２３２から読み出し／再生された画像、または通信部２２８を介して画像取得部２４８により取得された画像であってもよい。画像処理部２５４は、このような挿入画像を、挿入領域の形状や大きさに合うように加工し、挿入領域に挿入する。
【００９４】
また、画像処理部２５４が挿入画像として用いる画像は、挿入領域（局所領域）の周辺画像と関連性を有してもよい。例えば、図８に示した局所領域８１のように、周辺画像が車両である場合、挿入画像は、例えば、車両のメーカー情報または車種情報、メーカーや製品の広告情報を含んでもよい。また、挿入画像は、車両や車両関連商品、関連パーツの購入サイトへのリンク情報を含んでもよい。この場合、ユーザは、挿入画像を選択することにより携帯端末２０−２をリンク先に接続させることが可能である。
【００９５】
また、図８に示した局所領域８２や局所領域８３のように、周辺画像が家である場合、挿入画像は、例えば、不動産の販売情報、および不動産業者やリハウス業者情報の広告情報を含んでもよい。また、挿入画像は、不動産の購入サイト、または不動産業者およびリハウス業者などのホームページのリンク情報を含んでもよい。また、図８に示した局所領域８４のように、周辺画像が人物である場合、挿入画像は、エステ、眼鏡、およびコンタクトレンズなどの広告情報を含んでもよい。
【００９６】
なお、上記では、挿入画像の一例として広告情報を説明したが、撮像画像の画像ファイルに撮像位置を示す位置情報が設定されている場合、画像処理部２５４は、撮像位置の近辺の対象に関する広告情報を優先的に挿入画像として用いてもよい。または、携帯端末２０−２が位置推定機能を有する場合、画像処理部２５４は、携帯端末２０−２の現在位置の近辺の対象に関する広告情報を優先的に挿入画像として用いてもよい。かかる構成により、携帯端末２０−２のユーザに対する広告情報の訴求効果を高めることが可能である。
【００９７】
また、同一画像に同一の広告情報が含まれると宣伝効率が悪いので、画像処理部２５４は、撮像画像に複数の局所領域が含まれる場合、各局所領域に異なる挿入画像を挿入してもよい。ただし、挿入画像の種類が局所領域の数未満である場合、画像処理部２５４は、例外的に同一の挿入画像を異なる局所領域に挿入してもよい。
【００９８】
ここで、図１２および図１３を参照し、上述した画像処理部２５４による画像処理後の撮像画像の具体例を説明する。
【００９９】
図１２は、画像処理部２５４による画像処理後の撮像画像の具体例を示した説明図である。より詳細には、図１２には、図８、図１０および図１１に示した撮像画像の画像処理部２５４による画像処理後の状態を示している。画像処理部２５４は、図１２に示したように、図８などに示した撮像画像に含まれる局所領域８１〜８４内の画像を、挿入画像９１〜７４に入れ換えられる。なお、図１０においては、局所領域内の画像を挿入画像に入れ換える例を示しているが、画像処理部２５４は、挿入画像を局所領域に付加する形で挿入してもよい。すなわち、画像処理部２５４は、局所領域内の元画像を必ずしも抜き取らなくてもよい。
【０１００】
図１３は、画像処理部２５４による画像処理後の撮像画像の他の具体例を示した説明図である。より詳細には、図１３には、図９に示した撮像画像の画像処理部２５４による画像処理後の状態を示している。図１３に示したように、画像処理部２５４は、塗りつぶし処理が施された局所領域８５にも挿入画像９５を挿入することが可能である。
【０１０１】
［４−３．第２の実施形態による携帯端末の動作］
以上、第２の実施形態による携帯端末２０−２の構成を説明した。続いて、図１４を参照し、第２の実施形態による携帯端末２０−２の動作を説明する。
【０１０２】
図１４は、第２の実施形態による携帯端末２０−２の動作を示したフローチャートである。図１４に示したように、まず、携帯端末２０−２が撮像画像を取得すると（Ｓ４１０）、局所領域特定部２４２が、特殊加工により情報量が制限された局所領域が撮像画像内にあるか否かを判断する（Ｓ４２０）。なお、携帯端末２０−２は、撮像部２２４により撮像画像を取得してもよいし、ストレージ部２３２の読出し／再生により撮像画像を取得してもよいし、通信部２２８を介して撮像画像を取得してもよい。
【０１０３】
そして、撮像画像内に局所領域がある場合、局所領域特定部２４２が、ぼかし処理や塗りつぶし処理などの特殊加工が施された局所領域を特定し（Ｓ４３０）、挿入領域設定部２４６が、局所領域特定部２４２により特定された局所領域を、挿入画像を挿入するための挿入領域に設定する（Ｓ４４０）。
【０１０４】
続いて、画像処理部２５４は、挿入領域内の画像に関連する挿入画像を取得し、必要に応じて挿入画像を加工する（Ｓ４５０）。そして、画像処理部２５４は、挿入領域設定部２４６により設定された挿入領域内に挿入画像を挿入する、すなわち、挿入領域内の画像を挿入画像と入れ換える（Ｓ４６０）。
【０１０５】
その後、携帯端末２０−２は、撮像画像から局所領域が検出されなくなるまで、Ｓ４３０〜Ｓ４６０の処理を繰り返す（Ｓ４２０）。そして、撮像画像から局所領域が検出されなくなると、画像処理部２５４により局所領域に挿入画像が挿入された撮像画像を表示制御部２５６が表示部２６０に表示させる（Ｓ４７０）。
【０１０６】
なお、図１４においては、１つの局所領域ごとにＳ４３０〜Ｓ４６０の処理が繰り返される例を示しているが、最初に全ての局所領域を特定し、各ステップにおいて全ての局所領域に関する処理を行った後に、次のステップに移行してもよい。また、第１の実施形態において変形例として説明したように、上述した処理を複数の装置（例えば、携帯端末２０−２および画像提供サーバ１０）が協働して実現することも可能である。
【０１０７】
また、上述した画像処理部２５４による画像処理後の撮像画像の用途は特に限定されない。例えば、画像処理後の撮像画像は、表示部２６０に表示されてもよいし、ストレージ部２３２に保持されてもよいし、通信部２２８を介して外部機器に送信されてもよい。
【０１０８】
以上説明したように、本開示の第２の実施形態によれば、ぼかし処理や塗りつぶし処理などの特殊加工が施された領域に有用な情報を含む画像を挿入することができる。かかる構成により、特殊加工が施された撮像画像の情報伝達の効率性、付加価値、および利便性などを向上すること可能である。
【０１０９】
＜５．第１の実施形態および第２の実施形態の補足＞
上記では、画像処理部２５２および２５４（以下、単に画像処理部と総称する。）がプライバシー領域や局所領域などの挿入領域に広告情報などの挿入画像を挿入する例を説明したが、挿入画像は上述した例に限定されない。例えば、挿入画像は、ＩＳＢＮコード、ＰＯＳコード、ＵＲＬ、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、ＩＲＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌｉｚｅｄ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、ＱＲコードまたはサイバーコードなどのコード情報であってもよい。以下、この点についてより具体的に説明する。
【０１１０】
画像処理部は、プライバシー領域や局所領域などの挿入領域が設定されると、挿入領域の形状や大きさから、挿入するコード情報およびコード情報の配置を決定し、挿入領域にバーコード情報を挿入する。
【０１１１】
図１５および図１６は、コード情報が挿入された撮像画像の具体例を示す説明図である。画像処理部は、図１５に示したように、プライバシー領域や局所領域などの挿入領域にＱＲコード１０２〜１０４を挿入してもよいし、ＵＲＬ１０１を挿入してもよい。また、画像処理部は、車両５１内の挿入領域が横長形状であることから、図１５に示したように車両５１内の挿入領域に２行のＵＲＬ１０１を挿入してもよい。また、図１６に示したように、画像処理部は、人物５５内の挿入領域である目線領域の形状からＱＲコードを５つ並べる配置を決定し、人物５５内の挿入領域にＱＲコード１０５Ａ〜１０５Ｅを挿入してもよい。
【０１１２】
なお、上記では、挿入領域がプライバシー領域や局所領域である例を説明したが、挿入領域はかかる例に限定されない。例えば、挿入領域は、人的に指定された領域であってもよい。また、コード情報は、暗号鍵情報であってもよく、暗号鍵情報が解読された場合にコード情報が消えてオリジナルの画像が再現されるようにしてもよい。また、コード情報は、著作権管理情報のようなウォーターマーク情報であってもよい。また、挿入領域に挿入されるコード情報は、挿入領域または挿入領域の周囲の画像に関連性を有してもよい。
【０１１３】
以上説明したように、挿入領域にコード情報を挿入することにより、画像の付加価値や利便性を高めることが可能である。また、図４に示した挿入画像７４のようにリンク情報が設定されている挿入画像は、画像が印刷されると利用できなくなるが、ＱＲコードやサイバーコードのような二次元バーコードは、画像が印刷された場合にも利用可能である点で有用である。
【０１１４】
＜６．ハードウェア構成＞
以上説明した携帯端末２０による画像処理は、以下に図１７を参照して説明する携帯端末２０が有するハードウェアと協働して実現される。
【０１１５】
図１７は、携帯端末２０のハードウェア構成を示した説明図である。図１３に示したように、携帯端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
【０１１６】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って携帯端末２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【０１１７】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯端末２０のユーザは、該入力装置２０８を操作することにより、携帯端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、この入力装置は、図３および図７に示した操作入力部２３６に対応する。
【０１１８】
出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【０１１９】
ストレージ装置２１１は、本実施形態にかかる携帯端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。なお、このストレージ装置２１１は、図３および図７に示したストレージ部２３２に対応する。
【０１２０】
ドライブ２１２は、記憶媒体用リーダライタであり、携帯端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【０１２１】
撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。なお、この撮像装置２１３は、図３および図７に示した撮像部２３４に対応する。
【０１２２】
通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。なお、この通信装置２１５は、図３および図７に示した通信部２２８に対応する。
【０１２３】
＜７．むすび＞
以上説明したように、本開示の第１の実施形態によれば、撮像画像に含まれるプライバシー領域を保護すると同時に、プライバシー領域に有用な情報を含む画像を挿入することができる。かかる構成により、撮像画像中のプライバシー領域を有効活用や、画像の付加価値の向上を実現することが可能である。
【０１２４】
また、本開示の第２の実施形態によれば、ぼかし処理や塗りつぶし処理などの特殊加工が施された領域に有用な情報を含む画像を挿入することができる。かかる構成により、特殊加工が施された撮像画像の情報伝達の効率性、付加価値、および利便性などを向上すること可能である。
【０１２５】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２６】
例えば、本明細書の携帯端末２０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２７】
また、携帯端末２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した携帯端末２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１２８】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像からプライバシー領域を特定する領域特定部と、
前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、
を備える、画像処理装置。
（２）
前記画像処理部は、前記プライバシー領域内に、前記プライバシー領域内の画像と関連性を有する画像を挿入する、前記（１）に記載の画像処理装置。
（３）
前記領域特定部は、前記撮像画像に含まれる人物の顔領域を前記プライバシー領域として特定する、前記（１）または（２）に記載の画像処理装置。
（４）
前記画像処理装置は、
前記プライバシー領域として特定された顔領域の画像解析により認識された人物に関して公開されている情報を取得する取得部と、
をさらに備え、
前記画像処理部は、前記人物の顔領域に、前記取得部により取得された情報を有する画像を挿入する、前記（３）に記載の画像処理装置。
（５）
前記画像処理部は、前記撮像画像に複数のプライバシー領域が含まれる場合、各プライバシー領域内に異なる画像を挿入する、前記（１）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記画像処理部は、挿入候補の画像の種類が前記撮像画像内のプライバシー領域の数未満である場合、一部のプライバシー領域に、視覚的な情報量が局所的に制限される特殊加工を施す、前記（５）に記載の画像処理装置。
（７）
前記領域特定部は、前記撮像画像に含まれる車両のナンバープレートを前記プライバシー領域として特定する、前記（１）〜（６）のいずれか一項に記載の画像処理装置。
（８）
前記領域特定部は、前記撮像画像に含まれる建物の表札を前記プライバシー領域として特定する、前記（１）〜（７）のいずれか一項に記載の画像処理装置。
（９）
前記領域特定部は、前記撮像画像に含まれる洗濯物として干されている衣服を前記プライバシー領域として特定する、前記（１）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
前記プライバシー領域に挿入される画像は、広告画像である、前記（１）〜（９）のいずれか一項に記載の画像処理装置。
（１１）
前記プライバシー領域内に挿入される画像は、ネットワークへのアクセス情報を含む、前記（１）〜（１０）のいずれか一項に記載の画像処理装置。
（１２）
前記プライバシー領域内に挿入される画像は、コード情報を含む、前記（１）〜（１１）のいずれか一項に記載の画像処理装置。
（１３）
前記領域特定部は、前記撮像画像中で、視覚的な情報量を制限する特殊加工が施された局所領域を前記プライバシー領域として特定する、前記（１）〜（１２）のいずれか一項に記載の画像処理装置。
（１４）
コンピュータを、
撮像画像からプライバシー領域を特定する領域特定部と、
前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、
として機能させるための、プログラム。
【符号の説明】
【０１２９】
１０ 画像提供サーバ
１２ 通信網
２０ 携帯端末
３０ 人物認識サーバ
４０ ＳＮＳサーバ
２２０ システムコントローラ
２２４ 撮像部
２２８ 通信部
２３２ ストレージ部
２３４ 撮像部
２３６ 操作入力部
２４０ プライバシー領域特定部
２４２ 局所領域特定部
２４４、２４６ 挿入領域設定部
２４８ 画像取得部
２５２、２５４ 画像処理部
２５６ 表示制御部
２６０ 表示部
【技術分野】
【０００１】
本開示は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
近日、デジタルスチルカメラやビデオカメラなどの撮像装置によって取得された撮像画像の加工、編集処理が広く行われている。例えば、特許文献１には、背景シーンおよび前景シーンを組み合わせて複合ビデオイメージを得る際に、背景シーン内に存在する所定のパターンを、前景シーン内に存在する代替パターンで置き換える技術が開示されている。
【０００３】
また、特許文献２には、コンピュータゲームの看板や、ＴＶ放送されるスポーツスタジアムの看板なとの広告内容を変更するシステムが開示されている。また、特許文献３には、撮像画像から看板の部分などの特定の領域を検出し、その特定の領域に例えば他の広告内容を示す画像を挿入する技術が開示されている。
【０００４】
また、情報通信技術の発展に伴い、撮像画像を不特定多数の人物にインターネットを介して容易に提供することが可能となっている。このため、プライバシーの保護のために、撮像画像中でプライバシーに関わる領域は、モザイク処理や黒塗り処理などの特殊加工が施されることが多い。また、テレビジョン放送されるコンテンツや、光ディスクに記録されたコンテンツでも、不適切な画像や秘匿情報などに特殊加工が施されることは周知の通りである。なお、モザイク処理や黒塗り処理などの特殊加工については例えば特許文献４に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表平０６−５１０８９３号公報
【特許文献２】特開２００２−１５２２３号公報
【特許文献３】特開２００８−２２７８１３号公報
【特許文献４】特開２００９−１９４６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、モザイク処理や黒塗り処理などの特殊加工によりプライバシー領域を保護することはできても、特殊加工が施されたプライバシー領域は、情報が失われていたり、劣化していたりするので、特殊加工が施されたプライバシー領域からは視覚的な情報がほとんど得られない。
【０００７】
そこで、本開示では、撮像画像中のプライバシー領域の保護および有効活用を同時に実現することが可能な、新規かつ改良された画像処理装置およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、撮像画像からプライバシー領域を特定する領域特定部と、前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、コンピュータを、撮像画像からプライバシー領域を特定する領域特定部と、前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、撮像画像中のプライバシー領域の保護および有効活用を同時に実現することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態による画像処理システムの構成を示した説明図である。
【図２】撮像画像の具体例を示した説明図である。
【図３】第１の実施形態による携帯端末２０−１の構成を示した機能ブロック図である。
【図４】画像処理部２５２による画像処理後の撮像画像の具体例を示した説明図である。
【図５】第１の実施形態による携帯端末２０−１の動作を示したフローチャートである。
【図６】第１の実施形態の変形例を示したシーケンス図である。
【図７】第１の実施形態による携帯端末２０−２の構成を示した機能ブロック図である。
【図８】局所領域を含む撮像画像の具体例を示した説明図である。
【図９】局所領域を含む撮像画像の他の具体例を示した説明図である。
【図１０】局所領域を含む撮像画像の他の具体例を示した説明図である。
【図１１】局所領域を含む撮像画像の他の具体例を示した説明図である。
【図１２】画像処理部２５４による画像処理後の撮像画像の具体例を示した説明図である。
【図１３】画像処理部２５４による画像処理後の撮像画像の他の具体例を示した説明図である。
【図１４】第２の実施形態による携帯端末２０−２の動作を示したフローチャートである。
【図１５】コード情報が挿入された撮像画像の具体例を示す説明図である。
【図１６】コード情報が挿入された撮像画像の具体例を示す説明図である。
【図１７】携帯端末２０のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１４】
また、以下に示す項目順序に従って本開示を説明する。
１．画像処理システムの構成
２．用語の整理
３．第１の実施形態
３−１．第１の実施形態の背景
３−２．第１の実施形態による携帯端末の構成
３−３．第１の実施形態による携帯端末の動作
３−４．変形例
４．第２の実施形態
４−１．第２の実施形態の背景
４−２．第２の実施形態による携帯端末の構成
４−３．第２の実施形態による携帯端末の動作
５．第１の実施形態および第２の実施形態の補足
６．ハードウェア構成
７．むすび
【００１５】
＜１．画像処理システムの構成＞
本開示による技術は、一例として「２．第１の実施形態」〜「４．第３の実施形態」において詳細に説明するように、多様な形態で実施され得る。以下では、まず、各実施形態において共通する画像処理システムの基本構成について図１を参照して説明する。
【００１６】
図１は、本開示の実施形態による画像処理システムの構成を示した説明図である。図１に示したように、本開示の実施形態による画像処理システムは、画像提供サーバ１０、携帯端末２０、人物認識サーバ３０およびＳＮＳサーバ４０を備える。
【００１７】
これらの画像提供サーバ１０、携帯端末２０、人物認識サーバ３０およびＳＮＳサーバ４０は、図１に示したように、通信網１２を介して接続される。なお、通信網１２は、通信網１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００１８】
画像提供サーバ１０は、撮像装置によって取得された撮像画像を提供する。例えば、画像提供サーバ１０は、地図上の多地点における撮像画像を記憶しており、携帯端末２０からの要求に応じ、記憶している撮像画像を携帯端末２０に提供してもよい。または、画像提供サーバ１０は、個人または業者のＷｅｂページを管理しており、携帯端末２０からの要求に応じて撮像画像を含むＷｅｂページを携帯端末２０に提供してもよい。
【００１９】
携帯端末２０は、撮像画像を取得し、取得した撮像画像を処理する画像処理装置である。この携帯端末２０は、多様な方法により撮像画像を取得することができる。例えば、携帯端末２０は、図１に示した画像提供サーバ１０から撮像画像を取得してもよいし、携帯端末２０が有する撮像機能により撮像画像を取得してもよいし、記録媒体の再生により撮像画像を取得してもよい。さらに、携帯端末２０は、放送を受信することにより撮像画像を取得してもよい。
【００２０】
なお、図１においては、携帯端末２０の一例としてスマートフォンを示しているが、携帯端末２０はスマートフォンに限定されない。例えば、携帯端末２０は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などであってもよい。さらに、携帯端末２０は本開示による画像処理装置の一例に過ぎない。本開示による画像処理装置の機能は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置によっても実現可能である。さらに、画像提供側である画像提供サーバ１０を本開示による画像処理装置として機能させることも可能である。
【００２１】
人物認識サーバ３０は、人物の顔画像を画像解析することにより、当該人物が誰かを認識する。例えば、人物認識サーバ３０は、人物ごとの顔特徴量を記憶するデータベースを有し、顔パターンマッチングにより撮像画像から顔画像を検出し、顔画像の特徴量を解析し、解析した特徴量に対応する人物をデータベースから検索することにより人物認識を行う。
【００２２】
ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）サーバ４０は、人と人とのつながりを支援するサービスを提供する。例えば、ＳＮＳサーバ４０は、各ユーザのＷｅｂページを管理する。ユーザは、自身のＷｅｂページにおいて、年齢、性別、趣味、出身、居住地域などのプロフィール情報や、日記（ブログ）を公開することにより、新たな人間関係を構築することが可能となる。
【００２３】
以上、本開示による画像処理システムの基本構成を説明した。続いて、本実施形態の説明において用いられる用語について整理した後に、本開示の各実施形態について詳細に説明する。
【００２４】
＜２．用語の整理＞
以下、本実施形態の説明において用いられる用語について説明する。ただし、下記に示す内容は各用語の意味の一例に過ぎず、本願においては、下記に示す内容と異なる意味で各用語を用いる場合もあることに留意されたい。
【００２５】
（プライバシー／プライバシー領域）
プライバシーは、個人の私生活、私事に関する事項である。また、プライバシー領域は、撮像画像中で、プライバシーに関わる領域である。以下、図２を参照し、プライバシーおよびプライバシー領域についてより具体的に説明する。
【００２６】
図２は、撮像画像の具体例を示した説明図である。図２に示した撮像画像には、車両５１、家５２および５３、人物５４が含まれる。同時に、この撮像画像には、多くのプライバシーおよびプライバシー領域が含まれる。
【００２７】
例えば、車両５１はナンバープレート６１によって識別されるので、車両５１をナンバープレート６１と共に含む撮像画像は、車両５１の利用者がこの撮像画像の撮像地点に存在したというプライバシーを示す。このため、ナンバープレート６１は、個人の私生活、私事を示すプライバシーに関わる領域であるので、プライバシー領域に該当する。なお、図２においては車両５１として４輪車を示しているが、車両５１はオートバイや大型車などであってもよい。
【００２８】
また、図２に示したように、家５２のベランダに干された洗濯物６２を含む撮像画像は、家５２の住人が着用する衣服というプライバシーを示す。このため、洗濯物６２は、個人の私生活、私事を示すプライバシーに関わる領域であるので、プライバシー領域に該当する。
【００２９】
また、図２に示したように、家５３の表札６３を含む撮像画像は、表札６３の示す人物が家５３に住んでいるというプライバシーを示す。このため、表札６３は、個人の私生活、私事を示すプライバシーに関わる領域であるので、プライバシー領域に該当する。
【００３０】
また、顔により人物が認識され得るので、図２に示したように、人物５４を顔６４と共に含む撮像画像は、人物５４がこの撮像画像の撮像地点に存在したというプライバシーを示す。このため、顔６４は、個人の私生活、私事を示すプライバシーに関わる領域であるので、プライバシー領域に該当する。
【００３１】
（特殊加工）
撮像画像の一部を構成する局所領域から視覚的な情報量を制限するための画像処理である。特殊加工の一例としては、モザイク処理、ぼかし処理、および塗りつぶし処理などが挙げられる。なお、このような特殊加工は、人物の顔や車両のナンバープレートのようなプライバシー領域に対して施される場合も多い。このため、特殊加工が施された局所領域をプライバシー領域として扱うことも可能である。
【００３２】
＜３．第１の実施形態＞
以上、本実施形態の説明において用いられる用語について説明した。続いて、本開示の第１の実施形態について詳細に説明する。
【００３３】
［３−１．第１の実施形態の背景］
近日、情報通信技術の発展に伴い、撮像画像を不特定多数の人物に例えば通信網１２を介して容易に提供することが可能となっている。このため、プライバシーの保護のために、撮像画像中のプライバシー領域には、モザイク処理や黒塗り処理などの特殊加工が施されることが多い。
【００３４】
しかし、モザイク処理や黒塗り処理などの特殊加工によりプライバシー領域を保護することはできても、特殊加工が施されたプライバシー領域は、情報が失われていたり、劣化していたりするので、特殊加工が施されたプライバシー領域からは視覚的な情報がほとんど得られない。
【００３５】
そこで、上記事情を一着眼点にして本開示の第１の実施形態を創作するに至った。本開示の第１の実施形態によれば、撮像画像中のプライバシー領域の保護および有効活用を同時に実現することが可能である。以下、このような本開示の第１の実施形態について詳細に説明する。
【００３６】
［３−２．第１の実施形態による携帯端末の構成］
図３は、第１の実施形態による携帯端末２０−１の構成を示した機能ブロック図である。図３に示したように、第１の実施形態による携帯端末２０−１は、システムコントローラ２２０と、撮像部２２４と、通信部２２８と、ストレージ部２３２と、操作入力部２３６と、プライバシー領域特定部２４０と、挿入領域設定部２４４と、画像取得部２４８と、画像処理部２５２と、表示制御部２５６と、表示部２６０と、を備える。
【００３７】
（システムコントローラ）
システムコントローラ２２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、携帯端末２０−１の動作全般を制御する。なお、図３においては、プライバシー領域特定部２４０、挿入領域設定部２４４、画像処理部２５２、および表示制御部２５６などの機能ブロックをシステムコントローラ２２０と別個に示しているが、プライバシー領域特定部２４０、挿入領域設定部２４４、画像処理部２５２、および表示制御部２５６などの機能はシステムコントローラ２２０によって実現されてもよい。
【００３８】
（撮像部）
撮像部２２４は、被写体を撮像して撮像画像を取得する。具体的には、撮像部２２４は、撮影レンズおよびズームレンズなどの撮影光学系、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像信号処理部を備える。
【００３９】
撮影光学系は、被写体から発せられる光を集光して、撮像素子の撮像面に被写体像を形成する。撮像素子は、撮影光学系によって形成された被写体像を電気的な画像信号に変換する。撮像信号処理部は、撮像素子によって得られる画像信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像を得る。また、撮像信号処理部は、撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
【００４０】
このような撮像部２２４は、システムコントローラ２２０の制御に従い、取得した撮像画像を通信部２２８、ストレージ部２３２、プライバシー領域特定部２４０、または表示制御部２５６へ供給する。なお、撮像部２２４は、システムコントローラ２２０の指示に基づいて、撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う撮像制御部としての機能を包含する。
【００４１】
（通信部）
通信部２２８は、外部機器とのインタフェースであって、外部機器と無線または有線により通信する。例えば、通信部２２８は、通信網１２を介して、画像提供サーバ１０、人物認識サーバ３０およびＳＮＳサーバなどと通信することはできる。なお、通信部２２８の通信方式としては、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などが挙げられる。
【００４２】
（ストレージ部）
ストレージ部２３２は、各種データの保存に用いられる。例えば、ストレージ部２３２は、本実施形態による処理対象である撮像画像、撮像画像に挿入するための挿入画像、および後述する画像処理部２５２による処理後の画像を保存する。このストレージ部２３２は、システムコントローラ２２０の制御に従い、各種データの記録／保存や、読出しなどを行う。
【００４３】
なお、ストレージ部２３２は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＤカード、マイクロＳＤカード、ＵＳＢメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。
【００４４】
（操作入力部）
操作入力部２３６は、ユーザが操作入力を行うための構成である。操作入力部２３６は、ユーザ操作に応じた信号を生成し、システムコントローラ２２０に供給する。この操作入力部２３６は、例えば、タッチパネル、ボタン、スイッチ、レバー、ダイヤルなどの操作子や、リモートコントローラが発生する赤外線信号用の受光部あるいは無線信号の受信部などであってもよい。さらに、操作入力部２３６は、加速度センサ、角速度センサ、振動センサ、圧力センサなどのセンシングデバイスであってもよい。
【００４５】
（プライバシー領域特定部）
プライバシー領域特定部２４０は、撮像画像からプライバシー領域を特定する。なお、撮像画像は、撮像部２２４によって取得された画像、ストレージ部２３２から読み出し／再生された画像、または通信部２２８を介して画像取得部２４８により取得された画像であってもよい。
【００４６】
また、「２．用語の整理」において説明したように、多様な対象がプライバシー領域として想定される。このため、プライバシー領域特定部２４０は、対象ごとに異なる手法でプライバシー領域を特定する。
【００４７】
例えば、プライバシー領域特定部２４０は、顔パターンマッチングを用いる既存の顔検出手法により撮像画像から顔を検出し、検出した顔を含む領域をプライバシー領域として特定してもよい。
【００４８】
また、プライバシー領域特定部２４０は、撮像画像内で、車両のナンバープレートや家の表札のように、文字が含まれる矩形領域を検出し、検出した矩形領域をプライバシー領域として特定してもよい。例えば、プライバシー領域特定部２４０は、撮像画像内で輪郭線が長方形、台形、および平行四辺形であるような矩形領域を検出する。さらに、プライバシー領域特定部２４０は、矩形領域を検出した場合、矩形領域の内側に文字が含まれるか否かを判断する。そして、プライバシー領域特定部２４０は、矩形領域の内側に文字が含まれる場合、当該矩形領域をプライバシー領域として特定する。
【００４９】
また、プライバシー領域特定部２４０は、撮像画像内で、干された洗濯物が含まれる領域を検出し、検出した領域をプライバシー領域として特定してもよい。ここで、洗濯物の衣服は、人物によって着用されていない。また、洗濯物の衣服は複数並べて干されることが多い。そこで、プライバシー領域特定部２４０は、撮像画像から衣服を検出し、当該衣服が人物によって着用されておらず、当該衣服に隣接する衣服が存在し、隣接する衣服も人物によって着用されていない場合に、これら衣服を含む領域をプライバシー領域として特定してもよい。
【００５０】
（挿入領域設定部）
挿入領域設定部２４４は、プライバシー領域特定部２４０により特定されたプライバシー領域を、後述する挿入画像を挿入するための挿入領域に設定する。なお、挿入領域設定部２４４は、プライバシー領域の全域または一部の領域を挿入領域に設定してもよい。
【００５１】
（画像取得部）
画像取得部２４８は、本実施形態による画像処理の対象とする撮像画像、および撮像画像に挿入するための挿入画像など画像を取得する。例えば、画像取得部２４８は、通信部２２８を介して画像提供サーバ１０から画像を取得してもよいし、ストレージ部２３２からの再生／読出しにより画像を取得してもよい。
【００５２】
（画像処理部）
画像処理部２５２は、挿入領域設定部２４４により設定された撮像画像中の挿入領域に、挿入画像を挿入する。ここで、挿入は、挿入領域内の画像に挿入画像を上書きする処理であってもよいし、挿入領域内の画像を挿入画像と入れ換える処理であってもよい。また、挿入画像は、撮像部２２４によって取得された画像、ストレージ部２３２から読み出し／再生された画像、または通信部２２８を介して画像取得部２４８により取得された画像であってもよい。画像処理部２５２は、このような挿入画像を、挿入領域の形状や大きさに合うように加工し、挿入領域に挿入する。
【００５３】
また、画像処理部２５２が挿入画像として用いる画像は、挿入領域（プライバシー領域）内の画像と異なる情報であって、挿入領域内の画像と関連性を有してもよい。
【００５４】
例えば、挿入領域内の画像がナンバープレートである場合、挿入画像は、例えば、車両のメーカー情報または車種情報、メーカーや製品の広告情報を含んでもよい。また、挿入画像は、車両や車両関連商品、関連パーツの購入サイトへのリンク情報を含んでもよい。この場合、ユーザは、挿入画像を選択することにより携帯端末２０−１をリンク先に接続させることが可能である。
【００５５】
また、挿入領域内の画像が表札である場合、挿入画像は、例えば、不動産の販売情報、および不動産業者やリハウス業者情報の広告情報を含んでもよい。また、挿入画像は、不動産の購入サイト、または不動産業者およびリハウス業者などのホームページのリンク情報を含んでもよい。
【００５６】
また、挿入領域内の画像が洗濯物である場合、挿入画像は、クリーニング屋の広告情報や、衣料品販売店の広告情報を含んでもよい。また、挿入画像は、クリーニング屋や衣料品販売店のホームページや、衣料品の購入サイトへのリンク情報を含んでもよい。
【００５７】
また、挿入領域内の画像が人物の顔である場合、挿入画像は、エステ、眼鏡、およびコンタクトレンズなどの広告情報を含んでもよい。
【００５８】
また、挿入領域内の画像が人物の顔である場合、挿入画像は、当該人物に関して公開されている情報であってもよい。例えば、挿入領域内の画像が人物の顔である場合、携帯端末２０−１は、人物認識サーバ３０に当該人物の認識を要求し、認識された人物に関してＳＮＳサーバ４０において公開されている情報を取得してもよい。この場合、人物の年齢および性別などのプロフィール情報を挿入画像として用いることが可能となる。なお、携帯端末２０−１が人物認識機能を有する場合には、携帯端末２０−１が挿入領域内の顔を有する人物を認識してもよい。
【００５９】
また、画像処理部２５２は、当該人物がブログを公開しているＷｅｂページのリンク情報を挿入画像に設定してもよい。撮像画像に含まれる人物は、撮像画像の撮像位置に存在したので、撮像位置の周辺に関する事項をブログで公開している可能性がある。例えば、撮像画像の撮像位置が観光スポットや商店街である場合、当該人物は、ブログにおいて観光スポットや商店街に関する感想や意見などを公開している可能性がある。このため、上記のようにＷｅｂページのリンク情報を挿入画像に設定することにより、撮像画像の撮像位置の周辺情報を知りたい携帯端末２０−１のユーザを支援することが可能となる。
【００６０】
なお、上記では、挿入画像の一例として広告情報を説明したが、撮像画像の画像ファイルに撮像位置を示す位置情報が設定されている場合、画像処理部２５２は、撮像位置の近辺の対象に関する広告情報を優先的に挿入画像として用いてもよい。または、携帯端末２０−１が位置推定機能を有する場合、画像処理部２５２は、携帯端末２０−１の現在位置の近辺の対象に関する広告情報を優先的に挿入画像として用いてもよい。かかる構成により、携帯端末２０−１のユーザに対する広告情報の訴求効果を高めることが可能である。
【００６１】
ここで、図４を参照し、上述した画像処理部２５２による画像処理後の撮像画像の具体例を説明する。
【００６２】
図４は、画像処理部２５２による画像処理後の撮像画像の具体例を示した説明図である。より詳細には、図４には、図２に示した撮像画像の画像処理部２５２による画像処理後の状態を示している。図４に示したように、図２に示した撮像画像に含まれるプライバシー領域６１〜６４内の画像は、挿入画像７１〜７４に入れ換えられる。
【００６３】
例えば、プライバシー領域である車両５１のナンバープレート６１は、図４に示したように、「ＴＯＹＯＨＡ セール中」という、車両５１のメーカーの広告情報を含む挿入画像７１に入れ換えられる。
【００６４】
また、家５２の洗濯物６２は、図４に示したように、「クリーニングの佐藤 ○○駅前」という、クリーニング屋の広告情報を含む挿入画像７２に入れ換えられる。また、家５３の表札６３は、図４に示したように、「○○駅前 新築物件公開！」という、不動産の販売情報を含む挿入画像７３に入れ換えられる。
【００６５】
また、人物５４の顔６４は、図４に示したように、「ブログはここをクリック！」という、Ｗｅｂページへの誘導情報を含む挿入画像７４に入れ換えられる。なお、この挿入画像７４にはリンク情報が設定されており、ユーザにより挿入画像７４が選択された場合、携帯端末２０−１はリンク先のＷｅｂページへアクセスすることが可能である。なお、画像処理部２５２は、人物５４の顔６４を、年齢および性別などのプロフィール情報に応じた擬似顔画像と入れ換えてもよい。かかる構成によれば、画像処理後の撮像画像から、撮像画像の撮像位置付近をどのような人物が通る傾向にあるかを把握することが可能となる。
【００６６】
なお、上述した画像処理部２５２による画像処理後の撮像画像の用途は特に限定されない。例えば、画像処理後の撮像画像は、表示部２６０に表示されてもよいし、ストレージ部２３２に保持されてもよいし、通信部２２８を介して外部機器に送信されてもよい。
【００６７】
また、同一画像に同一の広告情報が含まれると宣伝効率が悪いので、画像処理部２５２は、撮像画像に複数のプライバシー領域（挿入領域）が含まれる場合、各プライバシー領域に異なる挿入画像を挿入してもよい。ただし、挿入画像の種類がプライバシー領域の数未満である場合、画像処理部２５２は、例外的に同一の挿入画像を異なるプライバシー領域に挿入してもよいし、一部のプライバシー領域にモザイク処理や塗りつぶし処理等の特殊加工を施してもよい。
【００６８】
（表示制御部）
表示制御部２５６は、システムコントローラ２２０の制御に基づいて、表示部２６０の画素駆動回路を駆動し、表示部２６０に画像を表示させる。例えば、表示制御部２５６は、画像処理部２５２による画像処理後の撮像画像を表示部２６０に表示させてもよい。なお、表示制御部２５６は、画像表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成なども行うことができる。
【００６９】
（表示部）
表示部２６０は、画素駆動回路を含み、表示制御部２５６の制御に従って画素駆動回路を駆動して画像を表示する。なお、表示部２６０は、液晶ディスプレイであってもよいし、有機ＥＬディスプレイであってもよい。
【００７０】
［３−３．第１の実施形態による携帯端末の動作］
以上、第１の実施形態による携帯端末２０−１の構成を説明した。続いて、図５を参照し、第１の実施形態による携帯端末２０−１の動作を説明する。
【００７１】
図５は、第１の実施形態による携帯端末２０−１の動作を示したフローチャートである。図５に示したように、まず、携帯端末２０−１が撮像画像を取得すると（Ｓ１１０）、プライバシー領域特定部２４０が、撮像画像内にプライバシー領域があるか否かを判断する（Ｓ１２０）。なお、携帯端末２０−１は、撮像部２２４により撮像画像を取得してもよいし、ストレージ部２３２の読出し／再生により撮像画像を取得してもよいし、通信部２２８を介して撮像画像を取得してもよい。
【００７２】
そして、撮像画像内にプライバシー領域がある場合、プライバシー領域特定部２４０が、人物の顔やナンバープレートなどのプライバシー領域を特定し（Ｓ１３０）、挿入領域設定部２４４が、プライバシー領域特定部２４０により特定されたプライバシー領域を、挿入画像を挿入するための挿入領域に設定する（Ｓ１４０）。
【００７３】
続いて、画像処理部２５２は、挿入領域内の画像に関連する挿入画像を取得し、必要に応じて挿入画像を加工する（Ｓ１５０）。そして、画像処理部２５２は、挿入領域設定部２４４により設定された挿入領域内に挿入画像を挿入する、すなわち、挿入領域内の画像を挿入画像と入れ換える（Ｓ１６０）。
【００７４】
その後、携帯端末２０−１は、撮像画像からプライバシー領域が検出されなくなるまで、Ｓ１３０〜Ｓ１６０の処理を繰り返す（Ｓ１２０）。そして、撮像画像からプライバシー領域が検出されなくなると、画像処理部２５２によりプライバシー領域が挿入画像と入れ換えられた撮像画像を表示制御部２５６が表示部２６０に表示させる（Ｓ１７０）。
【００７５】
なお、図５においては、１つのプライバシー領域ごとにＳ１３０〜Ｓ１６０の処理が繰り返される例を示しているが、最初に全てのプライバシー領域を特定し、各ステップにおいて全てのプライバシー領域に関する処理を行った後に、次のステップに移行してもよい。
【００７６】
以上説明したように、本開示の第１の実施形態によれば、撮像画像に含まれるプライバシー領域を保護すると同時に、プライバシー領域に有用な情報を含む画像を挿入することができる。かかる構成により、撮像画像中のプライバシー領域を有効活用や、画像の付加価値の向上を実現することが可能である。
【００７７】
［３−４．変形例］
なお、上記では携帯端末２０−１がプライバシー領域の特定や画像挿入を行う例を説明したが、上述した処理を複数の装置が協働して実現することも可能である。以下、変形例として、画像提供サーバ１０および携帯端末２０−１が協働して第１の実施形態の処理を実現する例を説明する。
【００７８】
図６は、第１の実施形態の変形例を示したシーケンス図である。図６に示したように、変形例においては、画像提供サーバ１０が撮像画像中のプライバシー領域を特定し（Ｓ３１０）、プライバシー領域を挿入画像の挿入領域に設定する（Ｓ３２０）。そして、画像提供サーバ１０は、撮像画像、および挿入領域の設定情報を携帯端末２０−１に送信する（Ｓ３３０）。
【００７９】
その後、携帯端末２０−１の例えば画像取得部２４８が挿入画像を取得し、画像処理部２５２が挿入画像を必要に応じて加工する。そして、画像処理部２５２が、挿入領域内に挿入画像を挿入する、すなわち、挿入領域内の画像を挿入画像と入れ換える（Ｓ３５０）。
【００８０】
このように、プライバシー領域の特定と、挿入画像の挿入を異なる装置で行うことも可能であり、この場合にも、撮像画像中のプライバシー領域を有効活用、および画像の付加価値の向上などを実現することができる。
【００８１】
＜４．第２の実施形態＞
以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。
【００８２】
［４−１．第２の実施形態の背景］
第１の実施形態の背景としても説明したように、近日、プライバシーの保護のために、撮像画像中のプライバシー領域には、モザイク処理や黒塗り処理などの特殊加工が施されることが多い。また、テレビジョン放送されるコンテンツや、光ディスクに記録されたコンテンツでも、不適切な画像や秘匿情報などに特殊加工が施されることは周知の通りである。
【００８３】
しかし、モザイク処理や黒塗り処理などの特殊加工によりプライバシー情報などを保護することはできても、特殊加工が施された局所領域は、情報が失われていたり、劣化していたりするので、特殊加工が施された局所領域からは視覚的な情報がほとんど得られない。このため、特殊加工が施された撮像画像は情報伝達の効率が悪い。
【００８４】
そこで、上記事情を一着眼点にして本開示の第２の実施形態を創作するに至った。本開示の第２の実施形態によれば、特殊加工が施された撮像画像の情報伝達の効率性、付加価値、および利便性などを向上すること可能である。以下、このような本開示の第２の実施形態について詳細に説明する。
【００８５】
［４−２．第２の実施形態による携帯端末の構成］
図７は、第１の実施形態による携帯端末２０−２の構成を示した機能ブロック図である。図７に示したように、第２の実施形態による携帯端末２０−２は、システムコントローラ２２０と、撮像部２２４と、通信部２２８と、ストレージ部２３２と、操作入力部２３６と、局所領域特定部２４２と、挿入領域設定部２４６と、画像取得部２４８と、画像処理部２５４と、表示制御部２５６と、表示部２６０と、を備える。システムコントローラ２２０、撮像部２２４、通信部２２８、ストレージ部２３２、操作入力部２３６、画像取得部２４８、表示制御部２５６、および表示部２６０の構成は第１の実施形態において説明した通りであるので、ここでの詳細な説明は省略する。
【００８６】
（局所領域特定部）
局所領域特定部２４２は、撮像画像から、視覚的な情報量を制限する特殊加工が施された局所領域を特定する。ここで、「２．用語の整理」において説明したように、多様な画像加工処理が特殊加工として想定される。このため、局所領域特定部２４２は、特殊加工が施された局所領域を、モザイク処理、ぼかし処理、および塗りつぶし処理など特殊加工の種類に応じて異なる手法で特定する。以下、図８および図９を参照してより具体的に説明する。
【００８７】
図８は、局所領域を含む撮像画像の具体例を示した説明図である。図８に示した撮像画像には、特殊加工が施された複数の局所領域８１〜８４が含まれる。例えば、局所領域８１は、車両５１のナンバープレートの領域に該当するが、ぼかし処理が施されているので、ナンバープレートの内容を判別することは困難である。同様に、局所領域８２〜８４にもぼかし処理が施されており、処理前の画像の内容を判別することは困難である。
【００８８】
局所領域特定部２４２は、このようなぼかし処理が施された局所領域を、撮像画像の各領域の周波数成分を解析することにより特定してもよい。例えば、ぼかし処理が施された領域では高周波成分が低いと考えられるので、局所領域特定部２４２は、周辺と比較して高周波成分が低い領域を局所領域として特定してもよい。
【００８９】
図９および図１０は、局所領域を含む撮像画像の他の具体例を示した説明図である。図９に示した撮像画像に含まれる局所領域８５は、塗りつぶし処理が施された人物５５の目線の領域である。目線は人物の識別性が高いので、目線が塗りつぶされた当該画像からは人物５５を識別することは困難である。同様に、図１０に示した撮像画像には、局所領域８１’〜８４’が含まれる。これら局所領域８１’〜８４’には塗りつぶし処理が施されているので、本来の表札やナンバープレートなどの情報を視認することは困難である。
【００９０】
局所領域特定部２４２は、このような塗りつぶし処理が施された局所領域を、撮像画像のエッジ成分の検出により特定してもよい。また、塗りつぶし処理は矩形領域に施されることが多いので、局所領域特定部２４２は、エッジ成分の検出により特定した輪郭形状が矩形である場合に、当該矩形内の領域を局所領域として特定してもよい。
【００９１】
図１１は、局所領域を含む撮像画像の他の具体例を示した説明図である。図１１に示した撮像画像には、局所領域８１”〜８４”が含まれる。これら局所領域８１”〜８４”にはモザイク処理が施されているので、本来の表札やナンバープレートなどの情報を視認することは困難である。このようなモザイク処理が施された局所領域は、画素ブロックの集合であり、同一の画素ブロックを構成する画素は同一成分を有すると考えられる。そこで、局所領域特定部２４２は、同一成分を有する画素ブロックの集合を局所領域として特定してもよい。
【００９２】
（挿入領域設定部）
挿入領域設定部２４６は、局所領域特定部２４２により特定された局所領域を、後述する挿入画像を挿入するための挿入領域に設定する。なお、挿入領域設定部２４４は、局所領域の全域または一部の領域を挿入領域に設定してもよい。
【００９３】
（画像処理部）
画像処理部２５４は、挿入領域設定部２４６により設定された撮像画像中の挿入領域に、挿入画像を挿入する。ここで、挿入は、挿入領域内の画像に挿入画像を上書きする処理であってもよいし、挿入領域内の画像を挿入画像と入れ換える処理であってもよい。また、挿入画像は、撮像部２２４によって取得された画像、ストレージ部２３２から読み出し／再生された画像、または通信部２２８を介して画像取得部２４８により取得された画像であってもよい。画像処理部２５４は、このような挿入画像を、挿入領域の形状や大きさに合うように加工し、挿入領域に挿入する。
【００９４】
また、画像処理部２５４が挿入画像として用いる画像は、挿入領域（局所領域）の周辺画像と関連性を有してもよい。例えば、図８に示した局所領域８１のように、周辺画像が車両である場合、挿入画像は、例えば、車両のメーカー情報または車種情報、メーカーや製品の広告情報を含んでもよい。また、挿入画像は、車両や車両関連商品、関連パーツの購入サイトへのリンク情報を含んでもよい。この場合、ユーザは、挿入画像を選択することにより携帯端末２０−２をリンク先に接続させることが可能である。
【００９５】
また、図８に示した局所領域８２や局所領域８３のように、周辺画像が家である場合、挿入画像は、例えば、不動産の販売情報、および不動産業者やリハウス業者情報の広告情報を含んでもよい。また、挿入画像は、不動産の購入サイト、または不動産業者およびリハウス業者などのホームページのリンク情報を含んでもよい。また、図８に示した局所領域８４のように、周辺画像が人物である場合、挿入画像は、エステ、眼鏡、およびコンタクトレンズなどの広告情報を含んでもよい。
【００９６】
なお、上記では、挿入画像の一例として広告情報を説明したが、撮像画像の画像ファイルに撮像位置を示す位置情報が設定されている場合、画像処理部２５４は、撮像位置の近辺の対象に関する広告情報を優先的に挿入画像として用いてもよい。または、携帯端末２０−２が位置推定機能を有する場合、画像処理部２５４は、携帯端末２０−２の現在位置の近辺の対象に関する広告情報を優先的に挿入画像として用いてもよい。かかる構成により、携帯端末２０−２のユーザに対する広告情報の訴求効果を高めることが可能である。
【００９７】
また、同一画像に同一の広告情報が含まれると宣伝効率が悪いので、画像処理部２５４は、撮像画像に複数の局所領域が含まれる場合、各局所領域に異なる挿入画像を挿入してもよい。ただし、挿入画像の種類が局所領域の数未満である場合、画像処理部２５４は、例外的に同一の挿入画像を異なる局所領域に挿入してもよい。
【００９８】
ここで、図１２および図１３を参照し、上述した画像処理部２５４による画像処理後の撮像画像の具体例を説明する。
【００９９】
図１２は、画像処理部２５４による画像処理後の撮像画像の具体例を示した説明図である。より詳細には、図１２には、図８、図１０および図１１に示した撮像画像の画像処理部２５４による画像処理後の状態を示している。画像処理部２５４は、図１２に示したように、図８などに示した撮像画像に含まれる局所領域８１〜８４内の画像を、挿入画像９１〜７４に入れ換えられる。なお、図１０においては、局所領域内の画像を挿入画像に入れ換える例を示しているが、画像処理部２５４は、挿入画像を局所領域に付加する形で挿入してもよい。すなわち、画像処理部２５４は、局所領域内の元画像を必ずしも抜き取らなくてもよい。
【０１００】
図１３は、画像処理部２５４による画像処理後の撮像画像の他の具体例を示した説明図である。より詳細には、図１３には、図９に示した撮像画像の画像処理部２５４による画像処理後の状態を示している。図１３に示したように、画像処理部２５４は、塗りつぶし処理が施された局所領域８５にも挿入画像９５を挿入することが可能である。
【０１０１】
［４−３．第２の実施形態による携帯端末の動作］
以上、第２の実施形態による携帯端末２０−２の構成を説明した。続いて、図１４を参照し、第２の実施形態による携帯端末２０−２の動作を説明する。
【０１０２】
図１４は、第２の実施形態による携帯端末２０−２の動作を示したフローチャートである。図１４に示したように、まず、携帯端末２０−２が撮像画像を取得すると（Ｓ４１０）、局所領域特定部２４２が、特殊加工により情報量が制限された局所領域が撮像画像内にあるか否かを判断する（Ｓ４２０）。なお、携帯端末２０−２は、撮像部２２４により撮像画像を取得してもよいし、ストレージ部２３２の読出し／再生により撮像画像を取得してもよいし、通信部２２８を介して撮像画像を取得してもよい。
【０１０３】
そして、撮像画像内に局所領域がある場合、局所領域特定部２４２が、ぼかし処理や塗りつぶし処理などの特殊加工が施された局所領域を特定し（Ｓ４３０）、挿入領域設定部２４６が、局所領域特定部２４２により特定された局所領域を、挿入画像を挿入するための挿入領域に設定する（Ｓ４４０）。
【０１０４】
続いて、画像処理部２５４は、挿入領域内の画像に関連する挿入画像を取得し、必要に応じて挿入画像を加工する（Ｓ４５０）。そして、画像処理部２５４は、挿入領域設定部２４６により設定された挿入領域内に挿入画像を挿入する、すなわち、挿入領域内の画像を挿入画像と入れ換える（Ｓ４６０）。
【０１０５】
その後、携帯端末２０−２は、撮像画像から局所領域が検出されなくなるまで、Ｓ４３０〜Ｓ４６０の処理を繰り返す（Ｓ４２０）。そして、撮像画像から局所領域が検出されなくなると、画像処理部２５４により局所領域に挿入画像が挿入された撮像画像を表示制御部２５６が表示部２６０に表示させる（Ｓ４７０）。
【０１０６】
なお、図１４においては、１つの局所領域ごとにＳ４３０〜Ｓ４６０の処理が繰り返される例を示しているが、最初に全ての局所領域を特定し、各ステップにおいて全ての局所領域に関する処理を行った後に、次のステップに移行してもよい。また、第１の実施形態において変形例として説明したように、上述した処理を複数の装置（例えば、携帯端末２０−２および画像提供サーバ１０）が協働して実現することも可能である。
【０１０７】
また、上述した画像処理部２５４による画像処理後の撮像画像の用途は特に限定されない。例えば、画像処理後の撮像画像は、表示部２６０に表示されてもよいし、ストレージ部２３２に保持されてもよいし、通信部２２８を介して外部機器に送信されてもよい。
【０１０８】
以上説明したように、本開示の第２の実施形態によれば、ぼかし処理や塗りつぶし処理などの特殊加工が施された領域に有用な情報を含む画像を挿入することができる。かかる構成により、特殊加工が施された撮像画像の情報伝達の効率性、付加価値、および利便性などを向上すること可能である。
【０１０９】
＜５．第１の実施形態および第２の実施形態の補足＞
上記では、画像処理部２５２および２５４（以下、単に画像処理部と総称する。）がプライバシー領域や局所領域などの挿入領域に広告情報などの挿入画像を挿入する例を説明したが、挿入画像は上述した例に限定されない。例えば、挿入画像は、ＩＳＢＮコード、ＰＯＳコード、ＵＲＬ、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、ＩＲＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌｉｚｅｄ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、ＱＲコードまたはサイバーコードなどのコード情報であってもよい。以下、この点についてより具体的に説明する。
【０１１０】
画像処理部は、プライバシー領域や局所領域などの挿入領域が設定されると、挿入領域の形状や大きさから、挿入するコード情報およびコード情報の配置を決定し、挿入領域にバーコード情報を挿入する。
【０１１１】
図１５および図１６は、コード情報が挿入された撮像画像の具体例を示す説明図である。画像処理部は、図１５に示したように、プライバシー領域や局所領域などの挿入領域にＱＲコード１０２〜１０４を挿入してもよいし、ＵＲＬ１０１を挿入してもよい。また、画像処理部は、車両５１内の挿入領域が横長形状であることから、図１５に示したように車両５１内の挿入領域に２行のＵＲＬ１０１を挿入してもよい。また、図１６に示したように、画像処理部は、人物５５内の挿入領域である目線領域の形状からＱＲコードを５つ並べる配置を決定し、人物５５内の挿入領域にＱＲコード１０５Ａ〜１０５Ｅを挿入してもよい。
【０１１２】
なお、上記では、挿入領域がプライバシー領域や局所領域である例を説明したが、挿入領域はかかる例に限定されない。例えば、挿入領域は、人的に指定された領域であってもよい。また、コード情報は、暗号鍵情報であってもよく、暗号鍵情報が解読された場合にコード情報が消えてオリジナルの画像が再現されるようにしてもよい。また、コード情報は、著作権管理情報のようなウォーターマーク情報であってもよい。また、挿入領域に挿入されるコード情報は、挿入領域または挿入領域の周囲の画像に関連性を有してもよい。
【０１１３】
以上説明したように、挿入領域にコード情報を挿入することにより、画像の付加価値や利便性を高めることが可能である。また、図４に示した挿入画像７４のようにリンク情報が設定されている挿入画像は、画像が印刷されると利用できなくなるが、ＱＲコードやサイバーコードのような二次元バーコードは、画像が印刷された場合にも利用可能である点で有用である。
【０１１４】
＜６．ハードウェア構成＞
以上説明した携帯端末２０による画像処理は、以下に図１７を参照して説明する携帯端末２０が有するハードウェアと協働して実現される。
【０１１５】
図１７は、携帯端末２０のハードウェア構成を示した説明図である。図１３に示したように、携帯端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
【０１１６】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って携帯端末２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【０１１７】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯端末２０のユーザは、該入力装置２０８を操作することにより、携帯端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、この入力装置は、図３および図７に示した操作入力部２３６に対応する。
【０１１８】
出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【０１１９】
ストレージ装置２１１は、本実施形態にかかる携帯端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。なお、このストレージ装置２１１は、図３および図７に示したストレージ部２３２に対応する。
【０１２０】
ドライブ２１２は、記憶媒体用リーダライタであり、携帯端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【０１２１】
撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。なお、この撮像装置２１３は、図３および図７に示した撮像部２３４に対応する。
【０１２２】
通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。なお、この通信装置２１５は、図３および図７に示した通信部２２８に対応する。
【０１２３】
＜７．むすび＞
以上説明したように、本開示の第１の実施形態によれば、撮像画像に含まれるプライバシー領域を保護すると同時に、プライバシー領域に有用な情報を含む画像を挿入することができる。かかる構成により、撮像画像中のプライバシー領域を有効活用や、画像の付加価値の向上を実現することが可能である。
【０１２４】
また、本開示の第２の実施形態によれば、ぼかし処理や塗りつぶし処理などの特殊加工が施された領域に有用な情報を含む画像を挿入することができる。かかる構成により、特殊加工が施された撮像画像の情報伝達の効率性、付加価値、および利便性などを向上すること可能である。
【０１２５】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２６】
例えば、本明細書の携帯端末２０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２７】
また、携帯端末２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した携帯端末２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１２８】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像からプライバシー領域を特定する領域特定部と、
前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、
を備える、画像処理装置。
（２）
前記画像処理部は、前記プライバシー領域内に、前記プライバシー領域内の画像と関連性を有する画像を挿入する、前記（１）に記載の画像処理装置。
（３）
前記領域特定部は、前記撮像画像に含まれる人物の顔領域を前記プライバシー領域として特定する、前記（１）または（２）に記載の画像処理装置。
（４）
前記画像処理装置は、
前記プライバシー領域として特定された顔領域の画像解析により認識された人物に関して公開されている情報を取得する取得部と、
をさらに備え、
前記画像処理部は、前記人物の顔領域に、前記取得部により取得された情報を有する画像を挿入する、前記（３）に記載の画像処理装置。
（５）
前記画像処理部は、前記撮像画像に複数のプライバシー領域が含まれる場合、各プライバシー領域内に異なる画像を挿入する、前記（１）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記画像処理部は、挿入候補の画像の種類が前記撮像画像内のプライバシー領域の数未満である場合、一部のプライバシー領域に、視覚的な情報量が局所的に制限される特殊加工を施す、前記（５）に記載の画像処理装置。
（７）
前記領域特定部は、前記撮像画像に含まれる車両のナンバープレートを前記プライバシー領域として特定する、前記（１）〜（６）のいずれか一項に記載の画像処理装置。
（８）
前記領域特定部は、前記撮像画像に含まれる建物の表札を前記プライバシー領域として特定する、前記（１）〜（７）のいずれか一項に記載の画像処理装置。
（９）
前記領域特定部は、前記撮像画像に含まれる洗濯物として干されている衣服を前記プライバシー領域として特定する、前記（１）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
前記プライバシー領域に挿入される画像は、広告画像である、前記（１）〜（９）のいずれか一項に記載の画像処理装置。
（１１）
前記プライバシー領域内に挿入される画像は、ネットワークへのアクセス情報を含む、前記（１）〜（１０）のいずれか一項に記載の画像処理装置。
（１２）
前記プライバシー領域内に挿入される画像は、コード情報を含む、前記（１）〜（１１）のいずれか一項に記載の画像処理装置。
（１３）
前記領域特定部は、前記撮像画像中で、視覚的な情報量を制限する特殊加工が施された局所領域を前記プライバシー領域として特定する、前記（１）〜（１２）のいずれか一項に記載の画像処理装置。
（１４）
コンピュータを、
撮像画像からプライバシー領域を特定する領域特定部と、
前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、
として機能させるための、プログラム。
【符号の説明】
【０１２９】
１０ 画像提供サーバ
１２ 通信網
２０ 携帯端末
３０ 人物認識サーバ
４０ ＳＮＳサーバ
２２０ システムコントローラ
２２４ 撮像部
２２８ 通信部
２３２ ストレージ部
２３４ 撮像部
２３６ 操作入力部
２４０ プライバシー領域特定部
２４２ 局所領域特定部
２４４、２４６ 挿入領域設定部
２４８ 画像取得部
２５２、２５４ 画像処理部
２５６ 表示制御部
２６０ 表示部
【特許請求の範囲】
【請求項１】
撮像画像からプライバシー領域を特定する領域特定部と、
前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、
を備える、画像処理装置。
【請求項２】
前記画像処理部は、前記プライバシー領域内に、前記プライバシー領域内の画像と関連性を有する画像を挿入する、請求項１に記載の画像処理装置。
【請求項３】
前記領域特定部は、前記撮像画像に含まれる人物の顔領域を前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
前記プライバシー領域として特定された顔領域の画像解析により認識された人物に関して公開されている情報を取得する取得部と、
をさらに備え、
前記画像処理部は、前記人物の顔領域に、前記取得部により取得された情報を有する画像を挿入する、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記撮像画像に複数のプライバシー領域が含まれる場合、各プライバシー領域内に異なる画像を挿入する、請求項１に記載の画像処理装置。
【請求項６】
前記画像処理部は、挿入候補の画像の種類が前記撮像画像内のプライバシー領域の数未満である場合、一部のプライバシー領域に、視覚的な情報量が局所的に制限される特殊加工を施す、請求項５に記載の画像処理装置。
【請求項７】
前記領域特定部は、前記撮像画像に含まれる車両のナンバープレートを前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項８】
前記領域特定部は、前記撮像画像に含まれる建物の表札を前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項９】
前記領域特定部は、前記撮像画像に含まれる洗濯物として干されている衣服を前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項１０】
前記プライバシー領域に挿入される画像は、広告画像である、請求項１に記載の画像処理装置。
【請求項１１】
前記プライバシー領域内に挿入される画像は、ネットワークへのアクセス情報を含む、請求項１に記載の画像処理装置。
【請求項１２】
前記プライバシー領域内に挿入される画像は、コード情報を含む、請求項１に記載の画像処理装置。
【請求項１３】
前記領域特定部は、前記撮像画像中で、視覚的な情報量を制限する特殊加工が施された局所領域を前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項１４】
コンピュータを、
撮像画像からプライバシー領域を特定する領域特定部と、
前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、
として機能させるための、プログラム。
【請求項１】
撮像画像からプライバシー領域を特定する領域特定部と、
前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、
を備える、画像処理装置。
【請求項２】
前記画像処理部は、前記プライバシー領域内に、前記プライバシー領域内の画像と関連性を有する画像を挿入する、請求項１に記載の画像処理装置。
【請求項３】
前記領域特定部は、前記撮像画像に含まれる人物の顔領域を前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
前記プライバシー領域として特定された顔領域の画像解析により認識された人物に関して公開されている情報を取得する取得部と、
をさらに備え、
前記画像処理部は、前記人物の顔領域に、前記取得部により取得された情報を有する画像を挿入する、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記撮像画像に複数のプライバシー領域が含まれる場合、各プライバシー領域内に異なる画像を挿入する、請求項１に記載の画像処理装置。
【請求項６】
前記画像処理部は、挿入候補の画像の種類が前記撮像画像内のプライバシー領域の数未満である場合、一部のプライバシー領域に、視覚的な情報量が局所的に制限される特殊加工を施す、請求項５に記載の画像処理装置。
【請求項７】
前記領域特定部は、前記撮像画像に含まれる車両のナンバープレートを前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項８】
前記領域特定部は、前記撮像画像に含まれる建物の表札を前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項９】
前記領域特定部は、前記撮像画像に含まれる洗濯物として干されている衣服を前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項１０】
前記プライバシー領域に挿入される画像は、広告画像である、請求項１に記載の画像処理装置。
【請求項１１】
前記プライバシー領域内に挿入される画像は、ネットワークへのアクセス情報を含む、請求項１に記載の画像処理装置。
【請求項１２】
前記プライバシー領域内に挿入される画像は、コード情報を含む、請求項１に記載の画像処理装置。
【請求項１３】
前記領域特定部は、前記撮像画像中で、視覚的な情報量を制限する特殊加工が施された局所領域を前記プライバシー領域として特定する、請求項１に記載の画像処理装置。
【請求項１４】
コンピュータを、
撮像画像からプライバシー領域を特定する領域特定部と、
前記撮像画像の前記プライバシー領域内に、前記プライバシー領域内の画像と異なる情報を有する画像を挿入する画像処理部と、
として機能させるための、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−９２８５５（Ｐ２０１３−９２８５５Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３３６２３（Ｐ２０１１−２３３６２３）
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]