説明

カメラへのユーザ入力に基づく画像値インデックス

【課題】ユーザの操作に応じて画像に画像値インデックスを付与する。
【解決手段】画像評価方法、カメラおよびシステムにおいて、あるシーンがカメラで画像形成される。カメラへのユーザ入力は、画像形成と同時に受け取られる。各入力はカメラの複数の操作機能の中の1つの設定を決定する。入力に数値をつけ、入力値の集合とする。この入力値を使い、画像値インデックスが計算される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はデジタル写真のための方法、システムおよびカメラに関し、より詳しくは、カメラへのユーザ入力に基づく画像値インデックスに関する。
【背景技術】
【0002】
デジタルイメージング(デジタル画像形成)により、膨大な数の静止画像、ビデオ画像シーケンス(一連のビデオ画像)、および1つまたは複数の画像と他のコンテンツとを複合させたマルチメディアレコード、を蓄積するユーザの能力は非常に増大した。(静止画像、ビデオシーケンスおよびマルチメディアレコードを、本明細書においてはまとめて「画像レコード」という。)画像レコードの数が増えると、その整理は難しくなる。
【0003】
個々の画像レコードに、ユーザにとって予想される価値のメトリクス(計量値)を示すメタデータを割り当てることにより、ユーザによる画像レコードの整理と利用を支援する工夫がなされている。たとえば、ニューヨーク州ロチェスターのイーストマン・コダック社の販売するV−550デジタルカメラは、「シェア(Share:共有)」と表示されたユーザコントロール(制御部)を備えており、ユーザはこのコントロールを操作して選択的に印刷や電子メール送信するよう個々の画像を指定することができる。この方法は有益ではあるが、メトリクスが2値であるために限界がある。
【0004】
マトラセック他により出願された米国特許出願公開2003/0128389 A1号(特許文献1)は、画像レコードの重要性を示す別の尺度として、「感性情報(affective information)」を開示しており、これは多値メタデータタグの形態をとることができる。感性情報はマニュアル入力でもよいし、あるいはユーザの反応を自動的に検出したものでもよく、この反応には、ある画像が何回印刷されたか、あるいは他人に電子メールで送信されたか等、ユーザによる特定の画像の自発的利用が含まれる。いずれの場合も、感性情報は、特定のユーザに結びつけられる。この方法は有益ではあるが、ユーザの反応を自動的に検出する場合は複雑である。また、ユーザの反応が曖昧かもしれないという危険性もある。
【0005】
サヴァキス他の米国特許第6,671,405号(特許文献2)は別の方式を開示しており、これによれば、画像の「強調とアピール」のメトリクスがユーザの介入なしに計算される。第一のメトリクスは、画像の意味的内容(たとえば、人々や顔)、多彩さや鮮鋭度といった客観的特徴、主な被写体の大きさといった主要被写体の特徴等、多くの要素に基づく。第二のメトリクスは、1つの集合の中の他の画像に関してこれらの要素を比較する。要素の統合は、訓練された推論エンジンを使って行われる。米国特許出願公開2004/0075743号(特許文献3)もこれに似ており、画像の意味的内容または客観的特徴に関するユーザが選択したパラメータに基づいて画像の選別を行うことを開示している。これらの方式には、画像そのものを利用するという利点と、多くの計算が必要となるという欠点がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許出願公開第2003/0128389号明細書
【特許文献2】米国特許第6,671,405号明細書
【特許文献3】米国特許出願公開第2004/0075743号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
したがって、曖昧となる危険性が低く、多くの計算を必要としないユーザによる数値的メトリクスを提供することが望ましい。
【課題を解決するための手段】
【0008】
本発明は特許請求の範囲により画定される。本発明は、より広い意味において、カメラであるシーンを画像形成する画像評価方法、カメラおよびシステムを提供する。カメラへのユーザ入力は、画像形成と並行して受け取られる。各入力はカメラの複数の操作機能の1つの設定を規定する。入力に数値を与え、入力値の集合とする。この入力値を使って画像値インデックスが計算される。
【0009】
本発明の有利な効果は、ユーザによる数値的メトリクスが、曖昧となる危険性が低く、多くの計算を必要としない改良された方法、カメラおよびシステムを提供する点である。
【0010】
付属の図面とともに以下の本発明の実施例の説明を参照することにより、本発明の上記およびその他の特徴と目的ならびにこれを実現するための方法がより明らかとなり、本発明そのものをよりよく理解することができる。
【図面の簡単な説明】
【0011】
【図1】方法の実施例のフローチャートである。
【図2】画像取得から画像レコードへの画像値インデックスの関連付けまでの経路を示す、図1の方法のより詳細な部分的フローチャートである。
【図3】図2の経路に続くステップを示す、図1の方法の変更例の詳細な部分的フローチャートである。
【図4】図2の経路に続くステップを示す、図1の方法の別の変更例の詳細な部分的フローチャートである。
【図5】図2の経路に続くステップを示す、図1の方法のさらに別の変更例の詳細な部分的フローチャートである。
【図6】図2の経路に続くステップを示す、図1の方法のまた別の変更例の詳細な部分的フローチャートである。
【図7】本発明のカメラの実施例の概略図である。
【図8】システムの実施例の概略図である。
【図9】図7のカメラの半図式的背面図である。
【発明を実施するための形態】
【0012】
この方法では、カメラの操作設定を決定するユーザ入力を使って、カメラで取得された画像レコードの画像値インデックスを導き出すことができる。画像形成(イメージング、撮像又は画像化)中に補足パラメータが決定され、これらの補足パラメータに応じて画像値インデックスが修正される。画像形成後、画像値インデックスは、画像レコードを利用している間、データベース内の画像レコードと関連付けられた状態のままである。利用資源の利用や利用可能性は、画像値インデックスによって管理できる。これに加え、あるいはその代わりに、利用に応じて画像値インデックスを修正することもできる。
【0013】
「画像形成する(image)」という動詞は、本明細書において、あるシーンの画像を形成する際のカメラの動作を指す。ビューファインダは、接眼レンズ等を通じて光像(light image)を画像形成する。ビューファインダ画像形成を、本明細書においては、画像を「ビューファインディングすること(viewfinding)」ともいう。撮影レンズは電子画像を取得する(capture)ために、イメージセンサ上に光像を画像形成する。撮影レンズからイメージセンサへの画像形成を、本明細書においては、「画像取得(image capture)」ともいう。カメラは以前に取得したシーンを画像形成することもでき、これは、以前に取得したシーンのデジタル画像をディスプレイ上にレンダリングすることによって行われ、ディスプレイはそのシーンの光像を生成する。このディスプレイ用画像形成を、本明細書においては、画像の「表示」ともいう。
【0014】
「保存画像(archival image)」という用語は、本明細書において、画像取得イベントの後にメモリ内に保存され、ユーザによりアクセス可能なデジタル画像を指す。保存画像は、シーンの光像の取得中に生成される他の非保存電子画像と区別される。このような非保存画像には、保存画像を導き出した画像形成の連鎖の中での早期の画像も含まれ、この早期の画像とは、たとえば、カメラのイメージセンサによって取得された初期のアナログ電子画像や初期アナログ画像をデジタル化することによって生成された初期のデジタル画像等である。このような場合、非保存画像と最終的に得られた保存画像はすべて、同じ光像から生成される。別の種類の非保存画像は、ビューファインディング、及び露出とフォーカスの設定、その他に用いられる画像である。これらの非保存画像は、ビューファインダその他でユーザに対して示されるが、取得後の通常の用途には使用できない。これらの非保存画像は、その非保存画像を記憶するのに使用されたメモリを再使用することで、自動的に消去することができる。
【0015】
「画像レコード」という用語は、本明細書において、デジタル静止画像、ビデオシーケンスまたはマルチメディアレコードを指すのに用いられる。画像レコードは、音声その他のデータと組み合わされた1つまたは複数の画像を含むが、非保存画像は含まない。たとえば、画像レコードは、複数のスペクトル画像、スキャナーレス距離画像(scannerless range image)、デジタルアルバムページ、マルチメディアビデオプレゼンテーションを含む。本明細書内の説明は、おおむね、デジタルカメラを使って取得される画像レコードに関するものである。画像レコードはまた、他の画像取得装置を使っても、また写真用フィルムその他の手段を使った後にデジタル化することによっても取得できる。前述のように、画像レコードは関連情報とともにデジタル的に保存される。
【0016】
「日時」という用語は、本明細書において、日付と時刻等、時間に関連する情報を指す。しかしながら、日時は時刻の入らない日付情報等、特定の時間単位に限定することもできる。
【0017】
以下の説明において、機能の中には「ソフトウェア」または「ソフトウェアプログラム」として述べられているものがある。当業者は、このようなソフトウェアと同等のものをハードウェアでも容易に構成できることがわるかであろう。画像操作アルゴリズムとシステムは周知であるため、この説明では本願で提案する方法の一部を構成する、あるいはその方法とより直接的に関わるアルゴリズムまたは特徴に重点を置く。デジタル静止画像およびビデオカメラやコンピュータシステムの一般的特徴もまた周知であり、この説明は一般に、本発明の方法に直接関する態様にのみ限定される。本明細書に特に示され、あるいは説明されていない上記のようなアルゴリズムや装置の他の態様とこれに関わる画像信号を生成し、処理するためのハードウェアまたはソフトウェアは、当業界で知られているシステム、アルゴリズム、コンポーネント、要素から選択できる。ここに記載された説明を考えた場合、その他のソフトウェアまたはハードウェアの実装はすべて従来技術であり、当業界の通常の技術の範囲である。
【0018】
本発明は、コンピュータハードウェアとコンピュータ機器において実装できる。たとえば、この方法は、1つないし複数のデジタルカメラもしくは他の撮影機器または1つまたは複数のパーソナルコンピュータを備えるシステムを使って実行できる。図8を参照すると、本発明を実装するためのコンピュータシステム110が示されている。コンピュータシステム110は好ましい実施例を説明することを目的として示されているが、本発明は図のコンピュータシステム110に限定されず、デジタルカメラ、カメラ付携帯電話その他の携帯機器、ホームコンピュータ、キオスク端末(kiosk)、小売店または量販店での写真現像あるいはその他のデジタル画像処理システム、等に見られるような電子処理システムで使用できる。コンピュータシステム110は、ソフトウェアプログラムを受け取って処理するため、および他の処理機能を実行するためのマイクロプロセッサベースのユニット112(本明細書では、デジタル画像プロセッサともいう)を備える。ディスプレイ114はマイクロプロセッサベースのユニット112に電気的に接続され、たとえばグラフィカルユーザインタフェース等により、そのソフトウェアに関わるユーザ関連情報を表示する。キーボード116もまたマイクロプロセッサベースのユニット112に接続され、ユーザはこれを使ってソフトウェアに情報を入力できる。キーボード116に代わる入力手段として、当業界で周知の方法で、マウス118を使ってディスプレイ114上のセレクタ120を動かし、セレクタ120の重ねられたアイテムを選択することもできる。
【0019】
あらゆる形態のリムーバブルメモリを搭載することができ、図中、これは、ソフトウェアプログラムを記憶できるコンパクトディスクリードオンリーメモリ(CD−ROM)124として示され、マイクロプロセッサベースのユニット112の中に挿入され、ソフトウェアプログラムおよびその他の情報をマイクロプロセッサベースのユニット112に入力する手段となる。複数の種類のリムーバブルメモリが設置可能で(ここでは、フロッピー(登録商標)ディスク126として示されている)、あらゆる適当な種類のリムーバブルメモリにデータを書き込むことができる。メモリは外付けで有線または無線接続を使ってアクセス可能(直接に、あるいはローカルネットワークまたはインターネットのような広域ネットワークを介して、アクセス可能)であってもよい。さらにまた、マイクロプロセッサベースのユニット112は、当業界で周知のように、ソフトウェアプログラムを内部的に記憶するようにプログラムできる。プリンタその他の出力機器128もマイクロプロセッサベースのユニット112に接続し、コンピュータシステム110の出力のハードコピーを印刷してもよい。マイクロプロセッサベースのユニット112は、電話線または無線リンク等、ローカルエリアネットワークまたはインターネット等の外部ネットワークとのネットワーク接続127を備えていてもよい。
【0020】
画像は、以前はPCMCIAカード(パーソナルコンピュータメモリカードインタナショナルアソシエーションの仕様に基づく)と呼ばれていたもののようなパーソナルコンピュータカード(PCカード)130等のメモリカードを通じてディスプレイ114上に表示することもでき、カード130の中には電子的に組み込まれたデジタル化された画像が記憶される。PCカード130は最終的にマイクロプロセッサベースのユニット112に挿入され、ディスプレイ114上に画像を視覚的に表示することができる。あるいは、PCカード130はマイクロプロセッサベースのユニット112に接続された外部のPCカードリーダ132に挿入してもよい。画像はまた、コンパクトディスク124、フロッピー(登録商標)ディスク126またはネットワーク接続127を通じても入力できる。PCカード130、フロッピー(登録商標)ディスク126またはコンパクトディスク124に記憶された、あるいはネットワーク接続127を通じて入力された画像は、デジタルカメラまたはスキャナ等の各種の情報源から得られたものかもしれない。画像はまた、マイクロプロセッサベースのユニット112に接続されたカメラドッキングポート136を通じてデジタルカメラ134から直接、あるいはマイクロプロセッサベースのユニット112へのケーブル接続138またはマイクロプロセッサベースのユニット112への無線接続140を通じてデジタルカメラ134から直接入力することもできる。
【0021】
出力機器128は、変換を受けた最終画像を提供する。出力機器は、プリンタまたは紙その他のハードコピーによる最終画像を供給する他の出力機器とすることができる。出力機器はまた、デジタルファイルとして最終画像を供給する出力機器であってもよい。出力機器はさらに、印刷された画像と、「パーソナルメディアプレイヤ」や「フラットスクリーンTV」等のさまざまな家庭用および携帯用鑑賞装置で使用できるCDまたはDVDといったメモリユニット上のデジタルファイル等、複合した出力も含む。
【0022】
マイクロプロセッサベースのユニット112は、デジタル画像を処理することで、目当ての出力機器又は媒体の上で快適に見える画像(pleasing looking image)を生成するための手段を提供する。本発明は、さまざまな出力機器で使用でき、この出力機器としては、たとえばデジタル写真プリンタやソフトコピーディスプレイ等がある。マイクロプセッサベースのユニット112は、デジタル画像を処理し、デジタル画像の全体的な輝度、階調、画像構成等を、快適に見える画像が画像出力機器によって生成されるように調整することができる。当業者は、本発明が上記の画像処理機能のみに限定されないことがわかるであろう。
【0023】
デジタル画像には、1つまたは複数のデジタル画像チャネルまたは色成分が含まれる。各デジタル画像チャネルは、画素の二次元アレイである。各画素値は、画素の物理的領域に対応する画像取得機器が受け取る光の量に関係する。カラー画像形成の応用例において、デジタル画像は赤、緑、青のデジタル画像チャネルで構成されることが多い。動画形成の応用例は、デジタル画像のシーケンスと考えることができる。当業者であれば、本発明は、たとえば、本明細書に記載の応用例のいずれのためのデジタル画像チャネルにも適用できることがわかるであろう。ここではデジタル画像チャネルを行列に配置された画素値の二次元アレイとして説明するが、当業者であれば、本発明が同等の効果を有する非直線的なアレイにも応用できることがわかるであろう。
【0024】
図8に示す一般的なコントロールコンピュータはコンピュータ読取可能な記憶媒体に記憶されたプログラムを有するコンピュータプログラム背品を保存でき、こうした記憶媒体としては、たとえば、磁気ディスク(フロッピー(登録商標)ディスク等)や磁気テープ等の磁気記憶媒体、光ディスク、光テープまたは機械読取可能なバーコード等の光学記憶媒体、ランダムアクセスメモリ(RAM)またはリードオンリーメモリ(ROM)等のソリッドステート電子記憶機器がある。関係するコンピュータプログラムはまた、オフラインメモリ機器により示されるコンピュータプログラムを記憶するための利用される他の物理的機器または媒体に記憶することもできる。
【0025】
本発明は、ソフトウェアまたはハードウェアの組み合わせで実装することができ、同じ物理的場所において物理的に接続され、または配置された機器に限定されないことにも注意すべきである。図8に示される機器の1つまたは複数は、遠隔的に配置してもよく、ネットワークで接続できる。機器の1つまたは複数を、無線周波数リンク等により、直接あるいはネットワークを通じて無線で接続してもよい。
【0026】
本発明は、各種のユーザ状況および環境で使用できる。状況及び環境の例としては、たとえば、量販店によるデジタル写真現像(例えば、フィルムイン(film in)、デジタル処理、プリントアウト等、の処理ステップまたはステージを含む)、小売店でのデジタル写真現像(フィルムイン、デジタル処理、プリントアウト)、家庭でのプリント(家庭でスキャンしたフィルムまたはデジタル画像、デジタル処理、プリントアウト)、デスクトップソフトウェア(デジタルプリントにアルゴリズムを適用し、よりよいものとするか、あるいは単に変更するソフトウェア)、デジタル・フルフィルメント(digital fulfillment)(メディアやウェブからのデジタル画像取り込み、デジタル処理、メディア上へのデジタル形式での画像出力、ウェブを介したデジタル形式の画像出力、又はハードコピープリントへのプリントによる画像出力)、キオスク(デジタルまたはスキャン入力、デジタル処理、デジタルまたはハードコピー出力)、携帯機器(処理ユニット、表示ユニットまたは処理命令を与えるユニットとして使用可能なカメラ、PDAまたは携帯電話)、World Wide Webを通じて提供されるサービス等がある。
【0027】
各々の状況において、本発明は、スタンドアローン装置であってもよいし、あるいは大型のシステムソリューションのコンポーネントであってもよい。さらに、スキャニングや入力、デジタル処理、ユーザに対する表示(必要に応じて)、ユーザ要求または処理命令の入力(必要に応じて)、出力等のヒューマン・インタフェースのそれぞれが存在する場所は、同じまたは異なる機器や物理的場所であってよく、これらの機器や場所の間の通信は、私的または公共ネットワーク接続あるいはメディアベースの通信を通じて行うことができる。上記の本発明の説明と矛盾しなければ、本発明による方法は完全に自動的でもよく、ユーザ入力(全面的または部分的にマニュアル)があってもよく、ユーザやオペレータが結果を確認して、承認または拒絶してもよく、あるいはメタデータ(メタデータはユーザが供給しても、測定機器(たとえばカメラ内の測定装置)により供給されても、アルゴリズムにより判断されてもよい)を援用してもよい。さらに、アルゴリズムは各種のワークフローユーザインタフェース方式(workflow user interface scheme)にも利用できる。
【0028】
本明細書で紹介するカメラは、本発明を実施するのに必要な特徴を有する。それ以外の特徴は当業者の間で周知である。以下の説明において、カメラはその時々で静止カメラおよびビデオカメラと呼ばれる。個々の用語はそれぞれ、静止画像専用カメラとビデオ専用カメラの両方ならびに、それぞれ静止画像またはビデオ画像撮影機能のために使用される静止カメラとビデオカメラの複合機を含むものと理解すべきである。また、カメラは、取り外しおよび交換可能なレンズと複数の撮影ユニット等、本明細書で詳細に述べていないさまざまな特徴のすべてを含むことができることも理解されるであろう。カメラは携帯型でも、ある地点に固定されてもよく、画像形成に関係する、あるいは無関係な1つまたは複数のその他の機能を有していてもよい。たとえば、カメラは携帯電話カメラであっても、他の方法での通信機能を提供してもよい。
【0029】
図7と図9を参照すると、ある特定の実施例において、カメラ10は他のコンポーネントを構造的に支持、保護する本体11を備える。本体11は、特定の用途やスタイル上の要求事項を満たすように変化させることができる。本体11の中に取り付けられる電子画像取得ユニット12は、撮影レンズ14およびこの撮影レンズ14と位置合わせされた電子アレイイメージセンサ16を備える。カメラ10はユーザインタフェース13を有し、これが撮影者に対して出力を提供し、また撮影者からの入力を受け取る。ユーザインタフェース13は、1つまたは複数のユーザ入力コントロール(コントロール・ボタン等の制御部)(図7において「ユーザ入力」と表示されている)と画像ディスプレイ30を備える。ユーザ入力コントロールは、シャッタリリース17、レンズユニットのズーミングを制御する「ズームイン/アウト」コントロール19ならびにその他のユーザコントロール21を備えていてもよい。ユーザ入力コントロールは、ボタン、ロッカー(rocker)スイッチ、ジョイスティック、回転ダイヤル、タッチスクリーン、ユーザによる音声命令に応答する音声認識を用いたマイクロフォンおよびプロセッサ、その他の組合せの形態で設置することができる。ユーザインタフェースは、イメージセンサ、直流電気反応センサ(galvanic response sensor)、上記のマイクロフォン、などのユーザ反応追跡(トラッキング:追従)機能を有していてもよい。これらの機能は未分析情報を後で分析するために記憶することができ、あるいはユーザの応答を分析し、適当なメタデータを発生できるモジュールをユーザインタフェースの中に含めることもできる。マトラセック他により出願された米国特許出願公開2003/0128389 A1号は、ユーザ応答追跡からのメタデータの生成について述べている。
【0030】
ユーザインタフェース13は1つまたは複数の情報ディスプレイ66を備え、露光レベル、露光残り、バッテリの状態、フラッシュの状態等、カメラに関する情報を撮影者に提示することができる。上記の代わりに、あるいは上記に加えて、画像ディスプレイ30を使って、カメラ設定等の非画像情報を表示することもできる。たとえば、オプションの選択や取得した画像を確認するためのレビューモードを提示するメニューを含むグラフィカルユーザインタフェース(GUI)を設けることができる。画像ディスプレイ30とデジタルビューファインダディスプレイ(図示せず)はどちらも同じ機能を果たすことができ、いずれか一方がなくてもよい。カメラは、音声入力を受け取り、音声出力を発生するためのスピーカまたはマイクロフォン(図示せず)を備えていてもよい。
【0031】
静止カメラとして用いた場合、カメラ10は環境光またはその他の状態を評価し、シャッタスピードやダイアフラム設定等のシーンパラメータを決定する。一連の非保存電子画像は連続的なシーケンスとして取得され、撮影者に対して表示される。非保存画像の取得‘(キャプチャ)は、シャッタレリーズまたはトリガ17が押され、保存画像が取得されると終了する。ビデオ撮影モードにおいて、保存画像は、トリガが作動している間、すなわちトリガがオンにされてからその後オフにされるまでの間、1つのストリームとして取得される。多くの静止デジタルカメラは2ストローク式シャッタレリーズを有する。通常、シャッタボタンを半押しすると一般にS1と呼ばれるスイッチが作動し、シャッタボタンを全押しすると、一般にS2と呼ばれるスイッチが作動する。(全押しは、「S1−S2ストローク」とも呼ばれる。)非保存画像の連続ストリームは、最初のストロークで取得され、単一の保存画像は第二のストロークで取得される。
【0032】
撮影者がシャッタレリーズを切ると、被写体となるシーンからの光が光路20に沿って撮影レンズ12から伝播し、イメージセンサ16に当たってアナログ電子画像を生成し、このアナログ画像はその後デジタル化され、デジタル的に処理される。(便宜上、画像取得は一般に、本明細書において、個々の静止画像の意味で論じられているが、同様の議論は多くの静止画像とビデオシーケンスの取得にも当てはめられる。)
【0033】
使用されるイメージセンサ16は別のタイプであってもよいが、イメージセンサが入手可能ないくつかのソリッドステートイメージセンサの1つであることが特に好ましい。たとえば、イメージセンサは、電荷結合素子(CCD)、CMOSセンサ(CMOS)、あるいは電荷注入素子(CID: charge-injection device)とすることができる。コントロールユニット22のコンポーネントのいくつかはイメージセンサ16と協働する。図のカメラの場合、こうしたコンポーネントにはクロックドライバ(本明細書においては、タイミング発生器とも呼ぶ)24、アナログ信号プロセッサ26、アナログ−デジタル変換器/増幅器(A/D)28がある。このようなコンポーネントはまた、イメージセンサとともに、単独のユニットの中に組み込んでもよい。たとえば、CMOSイメージセンサは、他のコンポーネントを同じ半導体ダイの上に集積することが可能な工程で作製される。
【0034】
電子画像取得ユニット16は、3つまたはそれ以上のカラーチャネルで画像を取得する。現在は単独のイメージセンサ16を1つのカラーフィルタとともに使用することが好ましいが、複数の単色イメージセンサとフィルタを使用してもよい。適当なフィルタは当業者の間で周知であり、イメージセンサ16と統合して集積コンポーネント構成部品とされる場合もある。当業者は、本明細書において複数のカラーチャネルを有するデジタル画像に関して説明する手順のいくつかを、チャネルの全部ではなく、1つまたはいくつかに限定することができると理解するであろう。この方法が妥当性は、経験的(ヒューリスティック)に判断できる。
【0035】
画像ディスプレイ30は、画像ディスプレイドライバまたはコントローラ32によって駆動され、ユーザによって閲覧される光像(ここでは、「表示画像」ともいう)を生成する。さまざまなタイプの画像ディスプレイ30を使用できる。たとえば、画像ディスプレイは、液晶ディスプレイ(LCD)、陰極管ディスプレイ、あるいは有機エレクトロルミネセントディスプレイ(OELD、また有機発光ディスプレイ(OLED)とも呼ばれる)がある。ディスプレイ30は、本体の裏面または上部に、写真撮影直後に撮影者にとって見やすいように取り付けることができる。
【0036】
イメージセンサ16の各画素からの電気信号は、その画素に届く光の強度と、その画素が入ってくる光からの信号を蓄積または積算できる時間の長さと、の両方に関する。この時間は積算時間(integration time)または露光時間と呼ばれる。積算時間は、シャッタ34によって制御され、シャッタは開状態と閉状態を切り替えることができる。シャッタ34は、機械的または電気機械的とすることができ、あるいは電子画像取得ユニットのハードウェアとソフトウェアの論理機能としても設置できる。たとえば、ある種のイメージセンサ16では、イメージセンサをリセットし、その後しばらくしてイメージセンサを読み取ることにより、積算時間を電子的に制御できる。CCDを使用する場合、イメージセンサ16の積算時間の電子制御は、非感光領域に設置される光遮断レジスタの下に蓄積された電荷をシフトすることによって行われる。これは、フレーム転送装置CCDにおけるフルフレームでも、インターライン転送装置CCDにおける水平線でもよい。適当な機器と手順は、当業者の間で周知である。したがって、タイミング発生器24は、イメージセンサが積極的に画像をレコードしているときの制御を可能とする。図7のカメラにおいて、シャッタ34とタイミング発生器24が共同で積算時間を決定する。
【0037】
全体的な光の強度と積算時間の組み合わせを露光(量)と呼ぶ。同等の露光(量)は、光の強度と積算時間とのさまざまな組み合わせによって実現できる。露光(量)が同じでも、あるシーンの画像を取得するのに、光の強度と積算時間の特定の組み合わせが、他の同等の露光(量)の場合より好ましいことがある。図7は、いくつかの露光制御要素を示しているが、実施例によっては、これらの要素の中の1つまたは複数を含まなくてもよく、あるいは露光制御のために別のメカニズムが設けられていてもよい。カメラは、図中のものに代わる機能を有していてもよい。たとえば、ダイアフラムとしても機能するシャッタは当業者の間で周知である。
【0038】
図のカメラにおいて、フィルタアセンブリ36とダイアフラム38は、センサ16における光の強度を変更する。それぞれが調整可能である。ダイアフラム38は、光路の光を遮断する機械的アパーチャ(図示せず)を使って、イメージセンサ16に到達する光の強度を制御する。アパーチャの大きさは、連続的に調整可能であっても、段階的に変更しても、あるいはその他の方法で変更してもよい。別の例として、ダイアフラム38は、光路20内に取り付け・取り外し可能であってもよい。フィルタアセンブリ36も同様に変更可能である。たとえば、フィルタアセンブリ36は、回転またはその他の方法で光路20の中に移動できる、異なる濃度フィルタ(neutral density filter)の集合(図示せず)を備えていてもよい。
【0039】
図7を再び参照すると、カメラ10は、撮影レンズ14を有する光学系18を備えており、ビューファインダ25のコンポーネント(図示せず)も備えていてもよい。光学系18は、さまざまな形態とすることができる。たとえば、撮影レンズ14は、光学ビューファインダから、または内部ビューファインダディスプレイ40の上に接眼レンズ(図示せず)を有するデジタルビューファインダから完全に分離していてもよい。ビューファインダと撮影レンズはまた、1つまたは複数のコンポーネントを共有することもできる。これらおよびその他の別の光学系の詳細は当業者の間で周知である。便宜上、光学系は以下、全般的に、ビューファインダディスプレイ40を有するデジタルビューファインダと、デジタルカメラの場合に一般的に行われているように、シーン閲覧に使用できる別のカメラ上のディスプレイ30を備える実施例について説明する。
【0040】
撮影レンズ14は、単一焦点距離とマニュアルフォーカスまたは固定焦点を有するもののような単純なものとすることができるが、これは好ましくない。図7のカメラにおいて、撮影レンズユニット12は、移動要素(複数の場合もある)がズームドライブによって1つまたは複数の他のレンズ要素に関して駆動される電動ズームレンズである。これによって、レンズの有効焦点距離を変更できる。デジタルズーミング(デジタル画像のデジタル拡大)を、光学ズーミングの代用とし、あるいはこれと併用できる。撮影レンズはまた、たとえばマクロ(短焦点距離)機能を提供するために、光路に挿入し、ここから外すことのできる要素またはグループ(図示せず)を備えていてもよい。
【0041】
カメラの撮影レンズ14はまた、好ましくはオートフォーカスである。たとえば、オートフォーカスシステムは、受動的または能動的オートフォーカスまたはこれら2つの組み合わせを使った焦点調整を行うことができる。図7を参照すると、オートフォーカスシステムは、コントロールユニット22に信号を送信して画像形成されるシーンのための距離レンジ(複数の場合もある)を提供するレンジファインダ42を有する。コントロールユニット22は、信号の焦点解析(focus analysis)を行い、その後、フォーカスドライバまたはコントロール44を作動させ、撮影レンズ14の焦点調整可能な要素(複数の場合もある)(別々には図示されていない)を動かす。レンジファインダ42の機能は、撮影ユニット12のソフトウェアとハードウェアの機能として提供することもできる。
【0042】
カメラ10は、輝度センサ46を備える。図7において、輝度センサが設置可能で、これは1つまたは複数の個別コンポーネントとして示されている。輝度センサ46は、単独のセンサまたは複数のセンサを動作させ、シーンの光の強度を表す信号を、そのシーンの露光分析に使用するためにコントロールユニット40に供給するドライバ(図示せず)を有する。オプションとして、この信号はまた、色バランス情報も供給できる。シーンの照明と色値の一方または両方を提供するために使用でき、電子画像取得ユニット16から分離している適当な輝度センサの一例は、米国特許第4,887,121号において開示されている。輝度センサはまた、画像取得ユニットのハードウェアとソフトウェアの論理機能としても提供できる。
【0043】
図7のカメラは、フラッシュユニットコントローラ50(図7において、「フラッシュコントロール」と表示される)を備えるフラッシュユニット48を有し、これはキセノンフラッシュランプ等、電子的に制御される照明器(図7において「フラッシュ」と表示される)を有する。フラッシュセンサ52を任意で設置することができ、このセンサは、保存画像取得中にシーンから感知される光に応じて、または保存画像取得前のプリ発光(preflash)によって、信号を出力する。フラッシュセンサ信号は、専用のフラッシュユニットコントローラ50によってフラッシュユニット48の出力を制御するのに使用される。別の例として、フラッシュユニットコントローラ50を取り除き、コントロールユニット22として機能するフラッシュコントロールを設置してもよい。フラッシュ出力はまた固定することも、焦点距離等の他の情報に基づいて変更することもできる。フラッシュセンサ54と輝度センサ46の機能は、単独のコンポーネントにまとめても、あるいは画像取得ユニット12とコントロールユニット22の論理機能として提供してもよい。
【0044】
コントロールユニット22は、露光調整要素およびその他のカメラコンポーネントを制御または調整し、画像およびその他の信号の転送を容易にし、画像に関する処理を行う。図7に示されるコントロールユニット22は、システムコントローラ56、タイミング発生器24、アナログ信号プロセッサ26、A/D変換器28、デジタル信号プロセッサ58、メモリ60a−60dを備える。コントロールユニット22に適したコンポーネントは当業者の間で周知である。これらのコンポーネントは図のように、あるいは単独の物理的機器によって、あるいはより多くの別のコンポーネントによって設けることができる。システムコントローラ56は、データ操作と一般的プログラム実行のためのRAMを有する埋め込みマイクロプロセッサ等、適切に構成されたマイクロコンピュータの形態とすることができる。コントロールユニット22は変更でき、その例は本明細書の別の部分に記載されている。
【0045】
タイミング発生器24は、タイミング関係においてすべての電子コンポーネントに制御信号を供給する。個々のカメラ10の校正値は、EEPROM等の校正メモリ(個別には図示されていない)の中に保存され、システムコントローラ56に供給される。ユーザインタフェースのコンポーネントはコントロールリユニット22に接続され、システムコントローラ56の上で実行されるソフトウェアプグラムの組み合わせによって機能する。コントロールユニット22はまた、たとえばズームコントロール62、フォーカスコントロール44、マクロコントロール64、ディスプレイドライバ32および、シャッタ34、ダイアフラム36、フィルタアセンブリ38およびビューファインダと状態ディスプレイ40,66のためのその他のドライバ(図示せず)等のドライバやメモリを含む他のコンポーネントも動作させる。
【0046】
カメラ10は、取得された画像情報を補足する情報を提供するためのその他のコンポーネントを備えていてもよい。このようなコンポーネント76の例は、図7に示されている向きセンサである。他の例には、実時間クロック、全地球測位システム(GPS)受信機、キーパッドまたはその他、ユーザキャプションその他の情報を入力するための入力機器がある。
【0047】
図に示され、説明される回路は、当業者にとってよく知られているさまざまな方法で変更できることが理解されるであろう。また、物理的回路に関してここで説明する各種の特徴は、ファームウェアまたはソフトウェアあるいはそれらの組み合わせとして提供してもよい。同様に、本明細書において別のユニットとして示されているコンポーネントは、都合よく組み合わせ、あるいは共有させてもよい。複数のコンポーネントは、分散された場所に設置することができる。
【0048】
イメージセンサからの取得された電子画像は、増幅され、処理され、アナログ信号プロセッサ26とA/D変換器28によってアナログからデジタルに変換される。その結果得られるデジタル電子画像は次に、DSPメモリ60aを使ってデジタル信号プロセッサ(DSP)58の中で処理され、処理後、システムメモリ60bまたはリムーバブルメモリ60cの中に保存される。データバス68として示されている信号線は、イメージセンサ16、システムコントロール56、プロセッサ58、画像ディスプレイ30、メモリ60a−60dおよびその他の電子コンポーネントを電子的に接続し、アドレスおよびデータ信号の経路を提供する。
【0049】
「メモリ」とは、物理的メモリの1つまたは複数の適当なサイズの論理ユニットを指し、半導体メモリまたは磁気メモリその他の中に設けられている。メモリ60a−60dはそれぞれ、どのようなタイプのランダムアクセスメモリでもよい。たとえば、メモリはSDRAMまたはフラッシュEPROMメモリのような内蔵メモリでも、あるいはリムーバブルメモリでも、あるいはそれらの組み合わせでもよい。リムーバブルメモリ60cは、保存画像の保存のために設置できる。リムーバブルメモリはどのようなタイプでもよく、たとえばソケット70の中に挿入し、メモリカードインタフェース72を通じてシステムコントローラ56に接続されるコンパクトフラッシュ(登録商標)(CF)またはセキュアデジタル(SD)タイプのカードでもよい。利用可能なその他のタイプの記憶手段には、たとえばPC−カード、マルチメディアカード(MMC)、または内蔵もしく取り外し可能なハードドライブ等がある。
【0050】
システムコントローラ56とデジタル信号プロセッサ58は、画像保存に使用される同じ物理的メモリの中に保存されたソフトウェアによって制御されてもよいが、システムコントローラ56とデジタル信号プロセッサ58は、たとえばROMまたはEPROMファームウェアメモリ等の専用メモリ60dに記憶されたファームウェアによって制御されることが好ましい。他の機能をサポートするために、メモリの別の専用ユニットを設置してもよい。取得された画像を保存するメモリは、カメラ10の中に固定しても、取り外し可能でも、それらの組み合わせであってよい。使用されるメモリの種類と情報保存の方法、たとえば、光学式か磁気式か電子式かは重要ではない。たとえば、リムーバブルメモリは、フロッピー(登録商標)ディスク、CD、DVD、テープカセットまたはフラッシュメモリカードもしくはスティックとすることができる。リムーバブルメモリは、画像レコードをカメラに、またはカメラから、デジタル形式で転送するために利用でき、あるいはこれらの画像レコードは、電子信号として転送することも可能である。
【0051】
図のカメラは、複数のプロセッサを備える。このように複数のコントローラとプロセッサの間でカメラの機能的制御を分割することは一般的であるが、これらのコントローラとプロセッサは、カメラの機能的動作に影響を与えることなく、さまざまな方法で複合させることができる。これらのコントローラまたはプロセッサは、1つまたは複数のデジタル信号プロセッサデバイス、マイクロコントローラ、プログラム可能な論理デバイスまたはその他のデジタル論理回路を備えていてもよい。上記のコントローラまたはプロセッサの複合について記載したが、1つのコントローラまたはプロセッサが必要な機能のすべてを実行できることは明らかなはずでる。これらの変更はすべて、同じ機能を果たすことができる。
【0052】
図の実施例において、デジタル信号プロセッサ58は、プログラムメモリ60dの中に永久的に保存され、画像取得中に実行するためにメモリ60aにコピーされるソフトウェアプログラムにしたがって、そのメモリ60aの中のデジタル画像データを操作する。デジタル信号プロセッサ58は、画像処理を行うのに必要なソフトウェアを実行する。デジタル画像はまた、画像を改良するために、他のデジタルカメラと同様な方法で変更できる。たとえば、画像をデジタル信号プロセッサによって処理し、補間処理とエッジ強調を行うことができる。デジタル処理により、カメラのディスプレイ上での表示画像として使用するために変更された画像および特定のファイル構造の中に保存するために変更された保存用画像を提供する。たとえば、画像を表示するためには、ディスプレイや電子撮影ユニットのイメージャその他のコンポーネントの、グレイスケール、色域、白点という点で異なる能力に対応できるように変換する必要がある。表示された画像に対してトリミング、解像度またはコントラストレベルの低減が行われるかもしれず、あるいは画像中の情報の他の部分が表示されないこともある。ファイル転送に関する変更には、JPEG圧縮とファイルフォーマット等の操作が含まれる。強調もまた、両方の場合において実行できる。画像変更にはまた、メタデータ、つまり、画像レコードに関連付けられた非画像情報の追加が含まれる。
【0053】
システムコントローラ56は、フラッシュEEPROMまたはその他の不揮発性メモリ等のプログラムメモリ60dに保存されたソフトウェアプログラムに基づいてカメラの全体的操作を制御する。このメモリ60dはまた、イメージセンサ校正データ、ユーザの設定選択その他、カメラをオフにしたときに保持しなければならないデータを保存するのにも使用される。システムコントローラ56は、マクロコントロール64、フラッシュコントロール50、フォースコントロール44および前述の画像取得ユニットコンポーネントの他のドライバに命令すること、イメージセンサ16および関連する要素を動作させるようにタイミング発生器24に命令すること、および取得された画像データを処理するようにデジタル信号プロセッサ58に命令することによって、画像取得シーケンスを制御する。画像が取得され、処理された後、システムメモリ60bまたはデジタル信号プロセッサメモリ60aの中に保存された最終的な画像ファイルはインタフェース57を通じてホストコンピュータ(図7には示されていない)に転送され、リムーバブルメモリカード60cまたはその他の記憶装置に保存され、画像ディスプレイ30上でユーザに対して表示される。ホストインタフェース57は、表示、保存、操作または印刷のために画像データを転送するようパーソナルコンピュータまたはその他のホストコンピュータに高速で接続できる。このインタフェースは、IEEE1394またはUSB2.0シリアルインタフェースでも、あるいはその他の適当なデジタルインタフェースでもよい。この方法において、デジタル形式での画像の転送は、物理的媒体上でも、あるいは転送された電子信号としても可能である。
【0054】
図のカメラ10において、処理された画像は、システムメモリ60bの中のディスプレイバッファの中にコピーされ、ビデオエンコーダ80を通じて連続的に読み出され、ビデオ信号が生成される。この信号は、ディスプレイコントローラ32またはデジタル信号プロセッサ58によって処理され、画像ディスプレイ30上で提示され、カメラから外部モニタで表示するために直接出力することができる。ビデオ画像は、カメラがビデオ取得に使用される場合は保存用で、カメラが保存用静止画像取得の前のビューファインディングに使用される場合は非保存用である。
【0055】
本願による方法と装置は、各種のデータ検出・削減技術を利用するソフトウェアまたはハードウェアコンポーネントにより提供される特徴を持つことができ、その例としては、顔検出、皮膚検出、人物検出、たとえば誕生会の写真を撮影する際のバースデーケーキといった画像上に示されるシーンの解釈や体の特定の部位を撮影する医療用画像の場合のような画像の特徴付けに必要なその他の物体検出、がある。
【0056】
本発明は、本明細書に記載の実施例を組み合わせたものも含む。「特定の実施例」等の用語は、本発明の少なくとも1つの実施例の中に存在する特徴を指す。「ある実施例」あるいは「特定の実施例」等の個別の用語は、必ずしも同じ実施例を指すものとは限らないが、このような実施例は、その旨明言されていないかぎり、あるいは当業者にとって自明でないかぎり、相互に排他的ではない。「方法」(複数の場合もある)等を指す単数形または複数形の用語は限定的ではない。
【0057】
図1を参照すると、シーンは、ビューファインディング202、画像取得204、表示206のブロックで示される3つの異なる方法でカメラによって画像形成される。ビューファインディング202では、シーンは光学ビューファインダ、デジタルビューファインダ、またはカメラディスプレイによって光像として撮影者に提示され、撮影者は画像レコードを合成(composition)する。デジタルビューファインダにより、あるシーンの光像が取得され、その後表示され、撮影者が見る別の光像を生成する。ビューファインダによる画像形成を、本明細書においては「ビューファインディング」ともいう。画像取得204において、そのシーンの光像はイメージセンサに向けられ、撮影される。表示206において、以前に取得されたデジタル画像はカメラディスプレイの1つの上でユーザに対して提示され、ユーザは画像レコードをレビューする。
【0058】
ユーザ入力は画像形成202,204,206と並行して受信される(208,210,212)。受信された入力208,210,212の各々は、カメラの複数の操作機能のうちの1つの設定を規定する。それら入力に数値が割り当てられ、入力値の集合が得られる。その後、画像値インデックスが計算される(214,216,218)。
【0059】
図1において、3つの異なる計算経路220,222,224があり、これらは縦方向に向かって描かれている。第一の経路220はビューファインディング202から、ユーザ入力の受信208と画像値インデックスの計算214を通ってステップ226に至り、ここで画像値インデックスは画像形成されたシーンに関連付けられる。第二の経路222は画像取得204から、ユーザ入力の受信210と画像値インデックスの計算216を通ってステップ228に至り、ここで画像値インデックスは取得された画像に関連付けられる。第三の経路224は、表示206から、ユーザ入力の受信212と画像値インデックスの計算218を通じてステップ230に至り、ここで画像値インデックスは閲覧された画像に関連付けられる。任意で、補足パラメータを測定し(231)、計算214,216,218で使用することもできる。
【0060】
図1には、水平に延びるコースのペア232,234がある。第一のコースは破線の矢印232a,232bで示されており、ビューファインディング202から、画像取得204を通じて取得画像の表示206に至るまでのカメラの使用を示している。第二のコースは破線の矢印234a,234bで示されており、第一の経路220の画像値インデックスの指標を使った第二の経路222における画像値インデックスの計算216と、それ以前(第一及び第二の経路)の画像値インデックスの指標を使った第三の経路224における画像値インデックスの計算218を示す。矢印232,232b,234a,234bが破線であるのは、図の接続が任意であることを示している。つまり、この方法には、経路220,222,224あるいは経路のペア220−222または222−224のいずれかひとつ、あるいは3つの経路220,222,224の全部が含まれていてもよい。方法をビューファインディングの経路220に限定することは現在のところ好ましくないが、これは、生成される画像値インデックスが変更対象となるシーンに関連付けられる(226)からである。シーンに関連付けられた画像値インデックスをその後の画像取得と表示イベントで使用すると、不正確となる危険性が生じる。
【0061】
以下の説明において、方法は、第二の経路222を含む、あるいはこれに限定される実施例に関して説明され、これを図2に詳細に示す。説明はまた一般に、単独の静止画像である画像レコードに関する。これは便宜上のことであり、同様の検討内容は他の実施例にも適用されると理解されるであろう。
【0062】
画像値インデックスは、ユーザが画像レコードの取得に注ぐ努力が、その画像への興味のレベルに比例しているという前提に基づく。同じことは、ユーザが画像レコードの合成と、取得直後に行われる所望の画像が得られたかのチェックに注ぐ努力にも当てはまる。前提は常にではないが、多くの場合に正しいと判断されている。画像値インデックスは、したがって、完全に正確ではない。稀に、ユーザの興味のレベルが提供された画像値インデックスとほとんど、あるいはまったく無関係であることがある。多くの画像レコードが正確な画像値インデックスを有し、そのために画像レコードの扱いが迅速化されるので、多少の不正確さにかかわらず、画像値インデックスは、消費者その他のユーザがより素早く、より簡単に画像レコードを利用することができるようにするものであると期待される。一部の画像レコードの画像値インデックスが不正確である可能性があるため、ユーザが不可逆的な動作やコストのかかる動作の前に介入できることが好ましい。特定の実施例において、個々の画像レコードの画像値インデックスは、各々の画像レコードが利用されるときにも変化する。利用される画像はユーザにとってより価値があると仮定される。この仮定に基づき、利用によって画像値インデックスを修正すれば、個々の画像値インデックスの精度が自動的に高まる。希望に応じて、誤った数値を修正するためにユーザが直接または間接的に画像値インデックスを修正できる手段を設けることもできる。
【0063】
シーンは、ユーザが撮影のためのセットアップを行い、1つまたは複数の画像を取得するとき、および好ましくは、ユーザが取得した画像をカメラでレビューするときにカメラによって画像形成される。ユーザによる入力は、セットアップと画像取得(キャプチャ)の両方に関するものであることが好ましく、利用できる場合は更にレビューに関するものであることが好ましい。ユーザ入力の例としては、シャッタボタンの半押し、シャッタボタンの全押し、焦点距離の選択、カメラディスプレイの作動、編集パラメータの選択、ユーザによる画像レコードの分類およびカメラディスプレイの停止がある。ユーザは、コントロールユニットを介して画像取得ユニットに機能的に接続される複数のカメラユーザコントロール(制御部)を使って入力する。ユーザコントロールには、撮影のためにカメラをセットアップする入力を供給するユーザ撮影コントロールが含まれる。たとえば、撮影モードスイッチとフラッシュ状態コントロールである。ユーザコントロールにはまた、取得後の画像(複数の場合もある)をカメラ上でレビューするためのビューファインダディスプレイを作動させるユーザビューファインダディスプレイコントロールも含まれる。ビューファインダディスプレイコントロールは、ユーザが手作業で画像を分類するための1つまたは複数のユーザコントロールを備え、これにはたとえば、「シェア(共有)」ボタンあるいは「お気に入り(favorite)」ボタンがある。
【0064】
画像値インデックスは、画像取得後ただちに計算され、画像レコードとともに自動的に表示され、あるいは要求に応じて利用可能とすることができる。いずれの場合も、ユーザは、取得したばかりの画像レコードの測定値を把握でき、これは、ユーザに対し、取得した画像が承認できそうもない場合に注意を与えるために、また指示的な援助として使用することが可能である。別の例として、画像値インデックスを隠し、アクセスコードとパスワード等を使用した場合のみアクセスできるようにしてもよい。
【0065】
多くのデジタル静止カメラの場合、保存用の静止画像を取得する前に毎回、デジタル画像のシーケンス(一連のデジタル画像)を取得する。より早期の画像(本明細書において、ビューファインダ画像ともいう)は一般に、自動露光、オートフォーカスその他のセットアップ機能のために使用されると自動的に廃棄される。シーケンスの最後の画像である保存用静止画像は、ユーザにより選択的に廃棄されないかぎり、メモリの中に自動的に保持される。このような場合、画像値インデックスはこの保存用静止画像に関連付けられる。
【0066】
画像のシーケンスが取得され、これらの画像が保持(保管)された場合は、単独の画像値インデックスが計算されて、これらの画像に関連付けられる。ビデオシーケンスの場合、1つの画像シーケンスは単独の画像レコードである。シーケンス内の各々の画像を別々の画像レコードとして扱うこともできる。個々の画像が分離されないかぎり、画像シーケンスには単独の画像値インデックスがつけられる。その場合、画像値インデックスをコピーし、その結果得られるコピーを分離された画像に割り当てることができる。
【0067】
各ユーザ入力は、動作設定を決定する信号をカメラのコントロールユニットに供給する。特定のカメラに関する例では、ユーザはオンオフスイッチを動かしてカメラの電源を入れる。この動作によりカメラはデフォルト状態となり、優先モード、フラッシュ状態、ズーム位置その他は事前に定められたものとなる。同様に、ユーザがシャッタボタンを半押しすると、自動露光およびオートフォーカスが作動し、ビューファインダ画像のシーケンスの取得が始まり、自動フラッシュセットアップが行われる。
【0068】
特定の画像レコードのための入力は、画像レコードの合成中に受信されるもの、画像レコードの画像取得中に受信されるもの、及びオプションとしてその画像レコードの確認中に受信されるもの、に限定することができる。あるいは、合成、画像取得、および、オプションとして1つまたは複数の他の画像レコードの閲覧、と並行して行われる1つまたは複数の入力も含めることができる。たとえば、複数の画像を同じシーンについて取得し、あるいはシーンを若干シフトさせて取得した場合(たとえば、被写体追跡オートフォーカスシステムや各画像の記録時刻/日付により判断される)、これらの画像すべてのS2作動のための入力値は、これらの画像すべての入力値の集合に含めることができる。
【0069】
コントロールユニットは、各入力に数値を割り当て、入力の組み合わせに依存する入力値を計算する数値モジュール(value module)を有する。特定の入力とその結果得られる入力値の関係は予め定めておくことができ、異なる入力について強調の程度をそれぞれ変えるように、重み付けすることができる。たとえば、カメラの電源を入れることを示す入力には、デフォルト状態から設定を変える入力の重みの半分の重みを与えることができる。重みは、事前に確定されたユーザプロファイルに基づかせることができる。たとえば、このようなプロファイルにおいて、クローズアップには、無限の焦点距離で撮影した画像の重みの2倍の重みを与えることができるであろう。便宜上、入力については一般に、本明細書において、すべての入力に同等に重み付けされた実施例に関連して述べることにする。
【0070】
計算される入力値の例は、入力の中の2つまたはそれ以上の間の時間的関係から計算される時間的入力値である。時間的関係とは、特定の時間範囲内で発生した2つの入力または事象の間の経過時間とすることができる。たとえば、画像合成時間、S1−S2ストローク時間、カメラ上の編集時間、カメラ上の閲覧時間、特定の位置(カメラ等の全地球測位システムにより測定される)においてカメラの電源がオンの状態での経過時間、の中の1つまたは複数を決定する入力である。時間的関係は、特定の画像や画像のシーケンスを取得する際にユーザがさらに費やす労力をよく表すように選択することができる。この場合、時間的入力値は、他の入力値に割り当てられた単位値の倍数として増減できる。時間的入力値は、他の入力値と同様に推論エンジンに供給することができる。たとえば特定の時間範囲および地理的範囲内の入力等、別の種類の関係の組み合わせにより時間的関係から入力値を導き出すことができるのと同様に、2つまたは複数の入力の間の地理的関係からも入力値を導き出すことができる。
【0071】
数値モジュールは、個々の画像レコードの入力値の集合を使って、画像値インデックスを計算する(238)。単純な方法では、同等に数値付けすなわち重み付けされた入力を単純に合計すればよい。現在のところ、画像値インデックスが一次であることが好ましいが、これは、画像レコードの比較がより単純になるからである。
【0072】
特定の実施例において、入力値の集合は、画像値インデックスを生成するように訓練された推論エンジンに供給される。推論エンジンの中で、個々の入力によって識別される異なる入力値は、実際の画像を人間の観察者が評価する地上実測(ground truth study)の結果から得られた知識にしたがって、相互に競合あるいは強化することができる。競合と強化は、推論エンジンの推論ネットワークにより解決される。現在のところ好適な推論エンジンは、ベイズネット(Bayes net)である。
【0073】
ベイズネット(たとえば、J.パールのProbabilistic reasoning in Intelligent Systems, San Francisco, Calif.: Morgan Kaufmann, 1988参照)は有向非巡回グラフであり、これはそのグラフの中の各種のエンティティの間の因果関係を示すもので、リンクの方向はグラフ内の各種のエンティティの間の因果関係を表し、リンクの方向が因果関係を表す。評価は、各種のエンティティ間の同時確率分布関数(PDF)の知識に基づいて行われる。ベイズネットの利点は、不確実性の明確な特徴付け(explicit uncertainty characterization)、効率的な計算、容易な構成とメンテナンス、迅速な訓練、ネットワーク構造やそのパラメータにおける変化に対する迅速な適応等である。ベイズネットは、4つのコンポーネントからなる。
(1)事前確率(priors):ベイズネットにおける各種のノードに関する初期の信念(initial belief)
(2)条件付確率マトリクス(CPM):ベイズネットにおける2つの接続ノードの間の関係に関する専門家の知識
(3)証拠:ベイズネットに入力される特徴検出器からの観察結果
(4)事後確率(posteriors):ベイズネット内を証拠が伝播した後に最終的に計算された信念
訓練のための最も重要なコンポーネントはCPMの集合であり、これは、CPMが身近な特定の用途のための領域知識を表しているからである。CPMの導出は、ベイズネット等の推論エンジンの使用に携わる者にとってよく知られたものであるが、CPMの一例の導出について、本明細書で後述する。
【0074】
各画像レコードについてそれぞれ1つのベイズネットが使用可能である。現在のシステムでは、単純な2レベルのベイズネットを使用でき、この中で、画像値インデックスはルートノードで決定され、すべての入力はリーフノードにある。各リンクは同じレベルの他のリンクとは条件付で独立していると想定され、その結果、各リンクを個別に訓練することにより、つまり他のものから独立したあるリンクに関するCPMを導出することによってネット全体の訓練を都合よく行うことができる点に注意すべきである。この想定は、現実には当てはまらないことがしばしばあるが、独立させて単純化することによって実現しやすくなり、ある程度の不正確さは容認できる。これはまた、3レベル以上のベイズネット等、他の分類器または推論エンジンと比較するためのベースラインとなる。
【0075】
すべての入力はベイズネットによって統合され、画像値インデックスが得られる。一方で、異なる入力は相互に競合し、あるいは矛盾することがある。その一方で、異なる入力は、以前のモデルまたは一般的な写真のシーンの知識に従って相互に強化することもある。競合も強化も、ベイズネットに基づく推論エンジンによって解決される。
【0076】
ベイズネットの1つの利点は、各リンクが同じレベルのリンクと独立していると想定される点である。したがって、これは各リンクを別々に訓練することによってネット全体を訓練するのに好都合である。一般に、ルートフィーチャ(特徴)ノード(root-feature node)の各ペアのためのCPMを取得する方法は2つある。
(1)専門家の知識を利用する。
これは、アドホック方式である。専門家に相談し、非常にアピールする画像である場合に、各特徴検出器が高いまたは低い出力を生成する条件付確率を得る。
(2)分割表(contingency table)を利用する。
これは、標本相関方式である。各特徴検出器の複数の観察結果を、強調またはアピールに関する情報とともに記録する。その後、これらの観察結果をまとめて分割表を作成する。この分割表は正規化すると使用可能になる。この方法は、ニューラルネットワークタイプの訓練(学習)のと同様である。
【0077】
ベイズネットの代わりに他の推論エンジンを使用してもよい。たとえば、B.D.リプリー(Ripley)によるPattern Recognition and Neural Networks(Cambridge University Press, 1996)では、正しい特徴を有することが通常は最重要事項である、パターン認識問題を解決するのに使用できるさまざまな異なる分類器が紹介されている。このような分類器には、線形判別分析法、柔軟判別(flexible discriminant)、(フィードフォワード)ニューラルネットワーク、非パラメトリック法、木構造分類器、信念ネットワーク(ベイジアンネットワーク等)がある。当業者において、このような方法では、これらの分類器のどれでも本発明の実施のための推論エンジンとして利用できることが自明である。
【0078】
画像形成中には補足パラメータを求めることもでき、これは、計算後に、あるいは特定の入力値を修正することによって、画像値インデックスを修正する(240)のに使用できる。修正方法は、必要に応じて単純にも複雑にもできる。単純な例では、各入力に1の数値が与えられ、所定の数値を有する、あるいは所定の閾値に近づく各補足パラメータにも同様に1の数値が与えられ、その合計が画像値インデックスとなる。別の例では、ある画像のカメラ上のディスプレイ中にシェアボタンを操作することは、画像値インデックスを最大値またはユーザが関心を持っていることを示すその他の所定の数値に変更する補足パラメータとして扱われる。補足パラメータはまた、入力値と同様に推論エンジンその他のアルゴリズムへの入力としても扱うことができる。補足パラメータの例としては、ユーザの反応、画像品質、画像内容、メタデータに基づく情報、ユーザ入力以外のパラメータから得られる情報等がある。
【0079】
図5は本発明の特定の実施例を示しており、この実施例においては画像利用(246)中にユーザの反応が検出される(252)。ユーザの反応を使い、データベース内に保持された(244)画像レコードに関連付けられた画像値インデックスを修正する(254)。マトラセック他の米国特許出願公開2003/0128389 A1号(引用によって本願に援用する)は、画像に対するユーザの反応を検出するための技術を開示している。(本願の解釈において、「ユーザの反応」は画像の利用と上記のようなカメラコントロールに使用される入力を除く。)ユーザの反応の例としては、閲覧中の発声、閲覧中の顔の表情、生理学的応答、注視情報、神経生理学的応答等がある。ユーザの反応は、GSR(ガルバニック皮膚応答:galvanic skin response)や心拍数モニタ等のバイオメトリックデバイスを通じて自動的に監視することができる。これらのデバイスは安価で入手しやすいものとなっており、マトラセック他の文献に記載されているように、画像取得および表示デバイスに組み込むことができる。
【0080】
図6は、本発明の特定の実施例を示しており、この実施例において、分析結果を求めるために画像レコードが分析され(256)、分析結果はその後、データベース内に保持された(244)画像レコードに関連付けられた画像値インデックスを修正する(258)のに使用される。画像品質と画像内容は、当業者の間で周知の分析方法で判断される。画像品質の分析において検討できる要素は、画像の鮮鋭度、画像ノイズ、コントラスト、暗い背景の有無、シーンのバランス、肌の色、飽和度、クリッピング、エイリアス、圧縮状態のうちの1つまたは複数である。画像内容の分析において検討できる要素は、人の有無、人の数、人の性別、人の年齢、赤目、瞬き、たとえば微笑などの感情的表現、頭のサイズ、平行移動の問題(translation problem)、被写体の中心性、シーンの場所、シーンの種類、シーンの固有性の中の1つまたはいくつかである。(「平行移動の問題」とは、顔あるいはその人物の体等、シーンの中の主要な物体の不完全な表現として定義される。)たとえば、日没は、ギャラガ他により出願された米国特許出願公開2005/0147298 A1号に記載されているように、全体的な画像の色の分析によって判断でき、ポートレートは、S.チェンにより出願された米国特許出願公開2004/0179719 A1号に記載されているように、顔検出ソフトウェアにより判断できる。「画像内容」の分析は、本明細書で使用される場合、画像の合成を含む。品質に関する分析結果は、特定の品質要素について所定の量だけ各画像値インデックスを増減できる。たとえば、鮮鋭度の数値が低いと、各画像値インデックスは所定のパーセンテージだけ下げられる。同様に、特定の内容または特定の内容と品質要素との組み合わせを示す分析結果には、個々の画像値インデックスの具体的な変更を予め割り当てることができる。たとえば、顔が1つまたは複数存在する場合、画像値インデックスは所定のパーセンテージだけ高くなる。各入力に1ポイントが与えられる前述の単純な例の場合、顔が存在すると、画像値インデックスにはもう1ポイント追加することができる。
【0081】
メタデータに基づく情報の例としては、画像レコードとともに保持されるテキストまたは音声による注釈から得られる情報、位置情報、現在の日時、撮影者の識別情報、がある。メタデータは、ユーザが入力しても、自動的に入力されてもよい。注釈は、ユーザが個々につけても、あるいは情報内容またはプリセット情報から生成されてもよい。たとえば、カメラが自動的に選択された地理的位置に「家」というキャプションを生成することも、あるいはユーザが同じキャプションを追加することもできる。全地球測位システムユニット等の位置情報判断に適したハードウェアとソフトウェアは、当業者の間で周知である。撮影者の識別情報は、たとえば、RFIDデバイス等の識別トランスポンダの使用、ユーザによる識別データの入力、音声認識またはユーザの顔認識または指紋照合等の生体識別によって判断できる。別の実施例では、撮影者の識別情報は、顔認識アルゴリズム又は音声認識アルゴリズムならびに指紋認識アルゴリズムを使って、カメラデバイスのメモリまたは遠隔的にアクセス可能な中央位置のいずれかに記憶された識別データとの照合により、生体データそのものから抽出することもできる。メタデータとその他のパラメータとの組み合わせも使用できる。たとえば、日時情報を休日、誕生日その他の予め記録された識別情報とともに使用してもよい。
【0082】
補足パラメータは、他のパラメータから導き出すことができる。導き出される情報の例には、予め決定されたユーザプロファイルのパラメータとの適合性、高いまたは低い画像値インデックスを持つと判断される1つまたは複数の基準画像と画像内容との相異度または類似度、日付と位置の組合せ等がある。画像レコードのクラスタリングは、日時情報、位置情報または画像内容に基づいて実施することができる。たとえば、米国特許出願公開2005/0105775 A1号または米国特許第6,993,180号に記載されているようなクラスタリングを利用できる。クラスタリングの結果は、補足パラメータとして使用してもよい。前述の単純な例に戻ると、グループ/非グループの補足パラメータは、他の画像とのグループ境界内の画像レコードについては1の数値、グループ境界を越えたところにある画像レコードについてはゼロの数値を有するようにすることができる。
【0083】
補足パラメータは、直接、あるいは所定のルールセットを使って検討できる。たとえば、休日に取得した画像は、所定のパーセンテージだけ調整できる。ユーザの反応に基づいて画像の興味の数値を決定することは、当業界で周知である。
【0084】
画像取得後、保存画像レコードはメモリ内に記憶され(242)、画像値インデックスの指標(indication)がこの画像レコードに関連付けられる。指標は、デジタル画像ファイルまたはデジタル画像ファイルの集合の中の1つのメタデータの中に記録することができる。指標はまた、別のファイルの中に記憶するか、あるいは画像レコードの1つの画像の中に、可視的に、またはステガノグラフィ埋め込み等によって保存できる。
【0085】
指標は、入力値の集合、画像値インデックス、またはその両方、の形態をとることができる。どの形態を選択するかは、個々の用途における便宜の問題である。画像値インデックスは、計算されたとおりに保存でき(ここでは、「算出インデックス」とも呼ぶ)、あるいはたとえばハフマンコーディングなどによって圧縮された別の形態でも保存できる。以下の説明において、画像値インデックスは個々の画像レコードのデジタルファイル内に保存された算出インデックスの形態として論じられるが、同じことが別の形態にもあてはまる。
【0086】
画像値インデックスの指標は、他のメタデータと同じ方法で画像レコードに関連付けることができる。たとえば、このような指標は、画像値インデックスをデジタル画像ファイルの中に保存することにより、画像レコードと関連付けられる。これは、画像レコードが単独のデジタルファイルに限定される場合に特に好都合であるが、その理由は、これによって画像値インデックスが画像レコードから偶発的に切り離されることが防止されるからである。画像ファイル内のメタデータの特別な例は、Exif画像ファイル内のTIFF IFDである。あるいは、画像値インデックスを別個に保存することもできる。画像レコードに関連付けられるその他のメタデータは同様に取り扱われる。セキュリティおよびアクセス許可に関する情報を含めて、情報へのアクセスを制御することもできる。
【0087】
次に、図2−4を参照すると、画像取得後、画像レコードは記憶装置内に格納され(242)、データベース内に保持される(244)。データベースはデータベースユニットの中にあり、データベースユニットは個別のデバイスであっても、以上に説明してきた装置の中にあってもよい。データベースユニットは、メモリの論理的または物理的な区分と、上記の機能を実行するのに必要なソフトウェアとハードウェアを備える。データベースはカメラ内に保持してもよいし、カメラの外部にある別のデータベースユニットに転送またはコピーしてもよく、そのデータベースにより各画像レコードと、これに対応する各画像値インデックスにアクセスできる。データベースユニットの形態は、単独のコンポーネントでも、あるいは直接またはネットワークを通じて連結される複数の別個のコンポーネントでもよい。画像レコードとメタデータを保存してこれらにアクセスするための、適当なハードウェア、ソフトウェア、ファイルフォーマット、圧縮/解凍方式、その他の基準は、当業者の間で周知である。特定の実施例において、データベースユニットはカメラの外部にあり、カメラとは独立してアドレス指定(アドレッシング)できる。この方式は、場合によってはカメラ内蔵のデータベースユニットほど便利ではないが、損失のリスクは軽減できる。
【0088】
図4を参照すると、特定の実施例において、保存された画像レコードが1つまたは複数の目的のために使用され(246)、個々の画像レコードの利用パラメータが追跡され(248)、それら画像レコードの画像値インデックスが個々の利用に応じて変更される(250)。利用の例としては、コピー、保存、整理、ラベリング、他の情報との統合、画像処理、非画像処理演算、ハードコピーの出力、ソフトコピーの表示、非画像出力等がある。利用パラメータの例としては、編集時間、閲覧時間、レビュー回数、作成されたハードコピーの数、作成されたソフトコピーの数、画像レコードのコピーやリンクを含めた電子メールの件数、この電子メールの受信者の数、アルバムでの利用、ウェブサイトでの利用、スクリーンセイバとしての利用、名前の変更、注釈付け、保存(アーカイブ)状態(archival state)、その他のフルフィルメント(実行)がある。画像レコードの利用に適した機器と技術は、当業者の間で周知である。たとえば、パーソナルコンピュータの一部であるデータベースユニットはディスプレイまたはプリンタを通じて出力を提供できる。
【0089】
直接的な利用情報のほかに、使用パラメータには、前述の時間的数値と直接比較可能な数値を含めることができる。たとえば、特定の画像レコードを閲覧し、編集する時間を考えることができる。
【0090】
前述のように、データベース内の画像レコードについて追加された補足パラメータを評価することができ、各々の画像値インデックスはこれらの評価に基づいて修正される。たとえば、ユーザの反応はデータベース内の画像レコードの利用中に検出できる。同様に、画像値インデックスは、データベース内にある類似の画像レコードの画像値インデックスに基づいて修正することが可能である。
【0091】
前にカメラ内で求められると説明した補足パラメータは、データベースユニットの中で計算または再計算してもよい。たとえば、特定の画像値インデックスの計算に使用されたデータが保持された場合、個々の補足パラメータはデータベースユニット内で行われる新たな分析の結果に置き換えることができる。あるいは、基本となるデータが利用できなくても、追加の分析は可能で、画像値インデックスをどのようにでも修正できる。この場合、画像値インデックスについて繰り返された分析の相対的効果が増大することがわかるであろう。たとえば、各入力が1の数値を有する単純な例の場合、品質の補足パラメータには、品質が良ければ1の数値、品質が低ければゼロの数値が与えられる。その場合、品質の高い画像の画像値インデックスは、カメラの中で1単位だけ増加され、二回目の分析の後は、データベースの中で第二の単位だけ増加される。
【0092】
画像レコードが利用される方法は重要ではないが、異なる利用パラメータに異なる重み付けを行うことができる。付与される重みは、出力と画像の値のユーザによる認識の間に存在しうる関係のヒューリスティックな分析に基づいて事前に決定できる。
【0093】
画像値インデックスは、入力値(および、該当する場合は時間的数値と補足パラメータ)が入手可能であるか、あるいは既存の画像値インデックスの修正とすることができれば、全面的な再計算によって変更できる。引き続き前述の単純な例において、画像レコードが利用されるたびに1の数値が割り当てられ、すでに存在する画像値インデックスに追加できる。同様に、画像レコードの画像値インデックスは、すべての利用時に均一な増分だけ上昇でき、利用されることなく所定の時間が経過するたびに、同様に均一なマイナス増分だけ低下できる。
【0094】
ビデオシーケンス等における個々の画像が別々に利用される場合、各画像値インデックスを独立して修正することが好都合である。あるいは、ビデオシーケンスまたはその他の関連画像群の中の個々の画像の使用を追跡し、画像値インデックスを類似した画像の使用に基づいて修正することができる。
【0095】
再び図3を参照すると、画像レコードはまた、あるいは別の例として、画像値インデックスを使っても管理できる(246)。この場合、データベースユニットは個々の画像値インデックスに基づいて画像レコードに関する活動を実行する。活動とは、たとえば個々の画像値インデックスに応じて画像レコードを分類すること等である。この分類は、画像レコードの検索またはその他の利用のために使うことができる。このような活動の他の例としては、閲覧等の目的のために画像レコードを待ち行列に入れること、リソースを個々の画像レコードに割り当てること、個々の画像レコードを使って出力を行うこと、テータベースユニットに個々の画像レコードを保持すること、等がある。割り当てられるリソースとしては、コピー、保存、整理、ラベリング、他の情報との統合、画像処理、非画像処理、計算、ハードコピーの出力、ソフトコピーの表示、非画像出力のうちの1つまたは複数を実現する論理および物理ユニットがある。ある特定の例では、画像値インデックスに基づいて行われる活動には、カメラディスプレイ上で閲覧するために待ち行列に入れること(よくない画像を容易に消去するために逆の順番で表示する場合を含んでもよい)、圧縮比を変更すること、メモリ内の保持時間を変更すること、等がある。リソースを割り当てる際、画像値インデックスに基づいて画像レコードに優先順位をつけることができる。たとえば、画像値インデックスの順番で画像レコードを自動的に遠隔記憶装置の中にバックアップすることが可能である。
【0096】
画像値インデックスは、画像レコードへのアクセスの管理や、イメージアプリケーションの利用可能な機能の限定に使用できる。このような機能の例としては、画像修正、配布、表示、印刷、消去および、利用可能な修正、配布、出力タイプの限定を許可またはブロックすること等である。この種の管理により、特定のクラスのユーザだけがアクセスできる隠れた画像値インデックスを提供することが好ましいかもしれない。
【0097】
画像値インデックスは、画像レコードを分類し、次に仮想ファイル、フォルダその他の中に画像レコードを配置するのに使用できる。これと同じベースでアイコンやその他の識別用のしるしを決定できる。また、自動ファイル/フォルダ名付け規則に画像値インデックスを利用できる。たとえば、規則において、使用タグ/イベント識別の基準、画像内容、画像値インデックスに基づく分類を順番で用いることができる。この場合、システムは利用可能な基準を使ってファイル名を最も妥当に推測できる。ユーザには、提案されたファイル/フォルダ名を上書きする機会が与えられる。
【0098】
複数の画像レコードについて共通の動作を行う活動の場合、画像値インデックス群は、個々に考慮しても、あるいはたとえば異なる数値の平均を考えることによって全体として考慮してもよい。画像値インデックスはまた、所定の閾値に関連して考慮することもできる。たとえば、それぞれ複数の画像が掲載されている仮想アルバムのページを提示する順番は、各ページの平均画像値インデックスによって決定できる。
【0099】
画像管理の別の例として、画像レコードの画像値インデックスを、1つまたは複数の事前に設定された、またはユーザが選択可能な、数値の閾値あるいはデータベース内の画像レコードから判断された閾値と比較することができる。後者の例は、k−meansアルゴリズムに代表されるクラスタリングアルゴリズムを使って自動的にクラスタリングされる画像レコードの集合の平均画像値インデックスである。特定の閾値内の画像値インデックスを有する画像レコードは、その閾値内の画像レコードと異なった方法で取り扱われる。たとえば、最低許容閾値を下回る画像値インデックスを有する画像レコードは容認不能として分類することができ、自動的または半自動的に消去されるか、または積極的に圧縮その他が行われ、ユーザは全画像レコードまたは個々の画像レコードに関して上書きすることが可能となる。同様に、非常に良好であることを示す閾値より高い画像値インデックスを有する画像レコードについては、たとえば画像レコードの自動スライドショーに含められる、自動的に重複して保存される、あるいは提示の際により目立たつようにされることにより、優先的な取扱を行うことができる。
【0100】
本発明の方法と装置については、本明細書において、一般に各画像値インデックスが特定の画像の固有の数値を提供する実施例に関して説明している。画像値インデックスは、ある集合における他の画像に対する相対的な数値とすることもできる。前者の方法は、画像レコードが異なるデータベース間で移動されると想定される場合、あるいは異なるデータベースが推測不能な方法で結合または分割する可能性のある場合に、特に有利となりうる。この場合、画像値インデックスを何度も再計算せずにすむ。後者の方法は、1つのデータベースが使用される可能性が高く、そのデーダース内の画像レコードを繰り返し比較する必要がある場合に有利となりうる。たとえば、データベースユニットは、容量限度を超えると、相対的画像値インデックスに基づいて画像を消去することに対するユーザの許可を自動的に要求することができる。両方の方法を組み合わせることも可能である。たとえば、カメラ内では画像レコードに固有の画像値インデックスを割り当て、後に、データベースユニットではそのデータベースユニットの画像レコードの全部または一部に関して対応する相対的画像値インデックスを割り当てなおすことができる。
【0101】
特定の画像レコードの集合の画像値インデックスは、個々のユーザに限定される情報に基づいても、あるいは特定の人々のグループからの情報に基づいても、あるいは公共ウェブサイトの閲覧者といった大きな、特定されないかもしれない人々のグループからの情報に基づいてもよい。多少にかかわらず人を含めると、結果として得られる画像値インデックスが変わる可能性がある。たとえば、家族等の比較的小さな社会的グループがある画像レコードの集合を利用するのは、基本的に思い出を残すといった共通の興味に基づいている可能性が高いが、これと同じ画像レコードの集合を他人同士の大きなグループが利用するのは、報道価値や芸術的評価等、異なる興味に基づく可能性が高い。画像値インデックスは通常、1人の人、つまり撮影者により撮影されたときの入力に関係するため、結果として得られた画像値インデックスを後に修正するのは、撮影者と同じ興味を有する可能性のある人々のグループに限定されることが好ましい。これは、撮影者にとっての画像値インデックスの価値を保持するのに役立つ。
【0102】
ビデオシーケンスの場合、画像のシーケンスは単独の画像レコードである。あるいは、1つのシーケンスの画像の各々を別の画像レコードとして扱うことも可能である。個々の画像が分離されないかぎり、1つの画像シーケンスに1つの画像値インデックスを与えることができる。この場合、画像値インデックスをコピーし、そのコピーを、分離された画像に割り当ててもよい。
【0103】
本発明は、特定の好ましい実施例を特に参照して詳細に説明したが、変更と改変を本発明の精神と範囲内で行うことができることが理解されるであろう。
【符号の説明】
【0104】
202 ビューファインディング、204 画像取得、206 表示、208,210,212 ユーザによる操作設定に関する入力、214,216,218 画像値インデックスの計算、226 インデックスをシーンに関連付け、228 インデックスを取得した画像レコードに関連付け、230 インデックスを閲覧した画像レコードに関連付け
231 補足パラメータ。

【特許請求の範囲】
【請求項1】
画像形成評価方法であって、
カメラでシーンを画像形成するステップと、
前記画像形成と並行して前記カメラへのユーザの入力群を受け取るステップであって、前記各入力はそれぞれ前記カメラの複数の操作機能のうちの1つの設定を規定するものであるステップと、
前記入力群を数値化することで入力値の集合を求めるステップと、
前記入力値群を使って画像値インデックスを計算するステップと、
を含むことを特徴とする方法。
【請求項2】
請求項1に記載の方法であって、
前記数値化するステップはさらに、前記入力群の中の2つまたはそれ以上の間の時間的関係から時間入力値の集合を計算するステップを含むことを特徴とする方法。
【請求項3】
請求項2に記載の方法であって、
前記入力群は、シャッタボタンの半押し、シャッタボタンの全押し、焦点距離の選択、カメラディスプレイの作動、編集パラメータの選択、カメラディスプレイの停止のうちの1つまたは複数を含むことを特徴とする方法。
【請求項4】
請求項2に記載の方法であって、
前記時間的関係と前記各入力は、画像合成時間、S1−S2ストローク時間、カメラ上での編集時間、カメラ上での閲覧時間、特定の位置での経過時間の中の1つまたは複数を規定するものであることを特徴とする方法。
【請求項5】
請求項1に記載の方法であって、さらに、
補足パラメータを決定するステップと、
前記補足パラメータに応じて前記画像値インデックスを修正するステップと、
を含むことを特徴とする方法。
【請求項6】
請求項5に記載の方法であって、
前記補足パラメータは前記画像形成ステップ中に決定されることを特徴とするステップ。
【請求項7】
請求項5に記載の方法であって、
前記補足パラメータは、位置情報、現在の日時、撮影者の識別情報、ユーザの反応のうちの1つまたは複数を含むことを特徴とする方法。
【請求項8】
請求項1に記載の方法であって、
前記画像値インデックスは一次元であることを特徴とする方法。
【請求項9】
請求項1に記載の方法であって、
前記画像形成ステップはさらに前記シーンの画像レコードを取得するステップを含み、
前記方法はさらに、前記画像レコードを保存するステップと、前記画像値インデックスの指標を前記画像レコードに関連付けるステップを含むことを特徴とする方法。
【請求項10】
請求項9に記載の方法であって、
前記画像値インデックスの前記指標は少なくとも、(a)前記入力値の集合と、(b)前記画像値インデックスと、のうちの少なくとも一方であり、
前記画像レコードは、静止画像、ビデオシーケンスおよびマルチメディアレコードのうちの1つでることを特徴とする方法。
【請求項11】
請求項9に記載の方法であって、さらに、
前記画像レコードを利用するステップと、
前記利用に応じて前記画像値インデックスを変更するステップと、
を含むことを特徴とする方法。
【請求項12】
請求項1に記載の方法であって、
前記画像形成ステップはさらに、前記シーンの光像を転送するステップと、前記光像を画像レコードとして取得するステップと、前記画像レコードを表示するステップのうちの少なくとも1つを含むことを特徴とする方法。
【請求項13】
請求項1に記載の方法であって、
前記数値化するステップはさらに、前記入力群に相対的な重みをつけるステップを含むことを特徴とする方法。
【請求項14】
画像評価方法であって、
カメラで複数の画像レコードを取得するステップと、
前記画像レコードを取得するステップと並行して前記カメラへのユーザの入力群を受け取るステップであって、前記各入力はそれぞれ前記カメラの複数の操作機能の1つの設定を規定するものであるステップと、
前記入力群を数値化することで、入力値の集合を提供するステップと、
前記入力値の集合から、前記複数の画像レコードの各々について、それぞれ一次元である画像値インデックスを計算するステップと、
前記各画像値インデックスを前記各画像レコードに関連付けるステップと、
を含むことを特徴とする方法。
【請求項15】
請求項14に記載の方法であって、さらに、
補足パラメータを決定するステップと、
前記補足パラメータに応じて前記画像値インデックスを修正するステップと、
を含むことを特徴とする方法。
【請求項16】
請求項15に記載の方法であって、さらに、
前記カメラ上で前記画像レコードの1つまたは複数を表示する表示ステップと、
前記画像レコードの各々の前記表示ステップと同時に、前記カメラへの1つまたは複数の追加の入力を受け取るステップとを含み、
前記補足パラメータは前記追加の入力を使って判定されることを特徴とする方法。
【請求項17】
請求項14に記載の方法であって、
前記画像レコードは、静止画像、ビデオシーケンスおよびマルチメディアレコードのうちの1つであり、
前記機能は、レンズの焦点距離、シャッタスピード、レンズアパーチャ、露光時間、ズームの状態、フラッシュ発光状態、画像サイズ、及び、1つまたは複数のデフォルトパラメータの受入、のうちの1つまたは複数を含むことを特徴とする方法。
【請求項18】
請求項14に記載の方法であって、さらに、
前記各画像値インデックスに応じて前記画像レコードを管理するステップを含むことを特徴とする方法。
【請求項19】
請求項18に記載の方法であって、
前記管理するステップはさらに、
前記画像レコード群を待ち行列に入れるステップと、
前記画像レコード群を提示するステップと、
個別の前記画像レコードに対してリソースを割り当てるステップと、
前記各画像レコードを使って出力を提供するステップと、
個別の前記画像レコードを保持するステップ
のうちの1つまたは複数を含むことを特徴とする方法。
【請求項20】
請求項19に記載の方法であって、
前記リソースは、コピー、保存、整理、ラベリング、他の情報との統合、画像処理、非画像処理計算、ハードコピーの出力、ソフトコピーの表示、非画像出力、のうちの1つまたは複数を提供する複数の論理および物理ユニットを含むことを特徴とする方法。
【請求項21】
請求項14に記載の方法であって、さらに、
前記画像レコードをデータベース内に保持する保持ステップを含むことを特徴とする方法。
【請求項22】
請求項21に記載の方法であって、さらに、
複数の異なる利用リソースを前記画像レコードに割り当てる際の優先順位を、前記画像値インデックスに従って決定するステップを含むことを特徴とする方法。
【請求項23】
請求項21に記載の方法であって、さらに、
前記保持ステップ中に、前記データベースを前記カメラから外部記憶装置に転送するステップを含み、前記データベースは前記外部記憶装置の中で前記カメラとは独立してアドレス指定可能であることを特徴とする方法。
【請求項24】
請求項14に記載の方法であって、さらに、
前記画像レコードを利用する利用ステップと、
前記利用ステップ中に、前記各画像レコードの利用パラメータを追跡するステップと、
前記利用パラメータに応じて前記各画像値インデックスを変更するステップと、
を含むことを特徴とする方法。
【請求項25】
請求項24に記載の方法であって、
前記利用パラメータは、編集時間、閲覧時間、閲覧者の数、作成されたハードコピーの数、作成されたソフトコピーの数、前記各画像レコードのコピー又はリンクを含めた電子メールの件数、前記電子メール受信者の数、アルバムでの利用、ウェブサイトでの利用、スクリーンセイバとしての利用、名前の変更、注釈付け、保存状態、その他のフルフィルメントへの利用のうちの1つまたは複数を含むことを特徴とする方法。
【請求項26】
請求項24に記載の方法であって、さらに、
前記利用ステップ中にユーザの反応を検出して、検出された反応を求めるステップと、
前記各画像値インデックスを前記検出された反応に応じて修正するステップと、
を含むことを特徴とする方法。
【請求項27】
請求項14に記載の方法であって、
前記計算するステップはさらに、前記画像値インデックスを、ベイズネットワークを使って計算するステップを含むことを特徴とする方法。
【請求項28】
請求項14に記載の方法であって、さらに、
前記画像レコードを分析して分析結果を求めるステップと、
前記各画像値インデックスを前記分析結果に応じて修正するステップと、
を含むことを特徴とする方法。
【請求項29】
請求項28に記載の方法であって、
前記分析するステップは、前記画像の画像品質と前記画像の内容との少なくとも一方を判定することを特徴とする方法。
【請求項30】
請求項29に記載の方法であって、
前記分析するステップは、画像の鮮鋭度、画像ノイズ、画像の明るさ、コントラスト、暗い背景の有無、シーンのバランス、肌色、飽和、クリッピング、エイリアス、圧縮状態のうちの1つまたは複数を評価し、
前記分析するステップは、人の数、人の性別、人の年齢、赤目、瞬き、感情表現、頭の大きさ、変換の問題、被写体の中心性、シーンの場所、シーンの種類、シーンの固有性のうちの1つまたは複数を評価することを特徴とする方法。
【請求項31】
画像形成評価方法であって、
シーンについての一連のデジタル画像群をカメラで取得するステップと、
前記取得するステップと並行して前記カメラへのユーザの入力群を受け取るステップであって、前記各入力はそれぞれ前記カメラの複数の操作機能の1つの設定を規定するものであるステップと、
前記入力群を数値化することで入力値の集合を求めるステップと、
前記入力値群から、一次元である画像値インデックスを計算するステップと、
前記画像値インデックスを前記デジタル画像群の少なくとも1つに関連付けるステップと、
を含むことを特徴とする方法。
【請求項32】
請求項31に記載の方法であって、さらに、
前記画像を利用するステップと、
前記利用に応じて前記画像値インデックスを修正するステップと、
を含むことを特徴とする方法。
【請求項33】
請求項31に記載の方法であって、
前記一連のデジタル画像群は複数のビューファインダ画像と最終的な取得画像とを含み、前記画像値インデックスを関連付けるステップは前記取得画像に対して行われ、前記方法はさらに、前記ビューファインダ画像を廃棄するステップと、前記取得画像を保持するステップとを含むことを特徴とする方法。
【請求項34】
請求項31に記載の方法であって、
前記一連のデジタル画像群はビデオシーケンスであり、前記関連付けるステップは前記デジタル画像群の全部に対して行われることを特徴とする方法。
【請求項35】
請求項31に記載の方法であって、
前記関連付けるステップはさらに、前記画像値インデックスを前記デジタル画像群の各々に対して関連付けるステップを含み、前記方法はさらに、
前記デジタル画像群をそれぞれ個別に利用するステップと、
前記各デジタル画像についての前記利用に応じて、当該デジタル画像の前記画像値インデックスを、他の前記デジタル画像の前記利用とは独立して、修正するステップと、
を含むことを特徴とする方法。
【請求項36】
請求項31に記載の方法であって、さらに、
前記画像をデータベースの中に入れるステップと、
前記画像を前記データベースの中に保持する保持ステップと、
前記保持ステップ中、前記画像の利用を許可するステップと、
前記利用に応じて前記各画像値インデックスを修正するステップと、
を含むことを特徴とする方法。
【請求項37】
カメラであって、
光像を取得し、前記光像をデジタル画像に変換する画像取得ユニットと、
前記画像取得ユニットに機能的に接続され、ユーザ画像取得コントロール入力を供給するように作動可能な複数のユーザ画像取得制御部と、
前記ユーザ画像取得コントロール入力を受信し、これに応じて前記画像取得ユニットの操作設定を判定するコントロールユニットと、
を備え、前記コントロールユニットは、前記ユーザ画像取得コントロール入力に数値を割り当てることで取得コントロール入力値の集合を求め、前記入力値から画像値インデックスを計算する数値モジュール、を有することを特徴とするカメラ。
【請求項38】
請求項37に記載のカメラであって、
前記画像値インデックスは一次元であることを特徴とするカメラ。
【請求項39】
請求項37に記載のカメラであって、さらに、
前記デジタル画像を保存するとともに、前記入力値の集合と前記画像値インデックスとのうちの少なくとも1つを前記デジタル画像に関連付けて保存するメモリと、
前記デジタル画像に応じて閲覧画像を出力することができるビューファインダディスプレイユニットと、
前記ビューファインダディスプレイユニットに機能的に接続され、ユーザビューファインダディスプレコントロール入力を供給するように作動可能なユーザビューファインダディスプレイ制御部と、を備え、
前記コントロールユニットは前記ユーザビューファインダディスプレイコントロール入力を受信し、これに応じて前記ビューファインダディスプレイユニットの操作設定を判定し、前記数値モジュールは所定の数値を前記ユーザビューファインダディスプレイコントロール入力に割り当てて、ビューファインダディスプレイコントロール入力値の集合を求めることを特徴とするカメラ。
【請求項40】
請求項37に記載のカメラであって、
前記コントロールユニットは、前記画像形成ステップ中に補足パラメータを決定し、前記補足パラメータに応じて前記画像値インデックスを修正することを特徴とするカメラ。
【請求項41】
請求項40に記載のカメラであって、
前記補足パラメータは、位置情報、現在の日時、撮影者の識別、ユーザの反応のうちの1つまたは複数を含むことを特徴とするカメラ。
【請求項42】
画像評価システムであって、
(a)少なくとも1つの画像取得デバイスと、
(b)1つまたは複数のデータベースユニットと、
を備え、
前記(a)少なくとも1つの画像取得デバイスは、
光像を取得し、前記光像をデジタル画像に変換する画像取得ユニットと、
前記画像取得ユニットに機能的に接続され、ユーザ画像取得コントロール入力を供給するように作動可能なユーザ画像取得制御部と、
を含む少なくとも1つの画像取得装置と、
前記ユーザ画像取得入力を受け取り、これに応じて前記画像取得ユニットの操作設定を判定するコントロールユニットと、を備え、前記コントロールユニットは、前記ユーザ画像取得コントロール入力に数値を割り当てて、画像取得コントロール入力値の集合を提供し、前記入力値から統合された画像値インデックスを計算する数値モジュールを有し、
前記(b)1つまたは複数のデータベースユニットは、
前記デジタル画像を受信し、これらへのアクセスを提供するとともに、
前記入力値と、
前記画像値インデックスと、
のうちの少なくとも1つを受信し、これらへのアクセスを提供する、
ことを特徴とするシステム。
【請求項43】
請求項42に記載のシステムであって、
前記データベースユニットの少なくとも1つは前記コンピュータデバイスに内蔵されていることを特徴とするシステム。
【請求項44】
請求項42に記載のシステムであって、
前記データベースユニットは、前記各画像値インデックスに応じて前記画像を分類することを特徴とするシステム。
【請求項45】
請求項42に記載のシステムであって、
前記データベースユニットは、前記画像値インデックスに応じて出力を供給することを特徴とするシステム。
【請求項46】
請求項42に記載のシステムであって、
前記データベースユニットは、前記各画像値インデックスに応じて変わる時間にわたって前記画像を保持することを特徴とするシステム。
【請求項47】
請求項42に記載のシステムであって、
前記データベースユニットは、前記画像の選択的な利用を実現し、前記利用中に利用パラメータを追跡し、前記利用パラメータに応じて前記各画像値インデックスを修正することを特徴とするシステム。
【請求項48】
請求項47に記載のシステムであって、
前記利用パラメータは、編集時間、閲覧時間、閲覧数の数、プリントの数、電子メールの件数、受信者の数、アルバムでの利用、ウェブサイトでの利用、スクリーンセイバとしての利用、名称変更、注釈付け、保存状態、フルフィルメント利用のうちの1つまたは複数を含むことを特徴とするシステム。
【請求項49】
請求項42に記載のシステムであって、
前記データベースユニットの少なくとも1つは前記画像を分析して分析結果を求め、前記分析結果に応じて前記各画像値インデックスを修正することを特徴とするシステム。
【請求項50】
請求項49に記載のシステムであって、
前記分析結果は、前記画像の画像品質と前記画像の内容とのうちの少なくとも一方であることを特徴とするシステム。
【請求項51】
請求項50に記載のシステムであって、
前記画像品質は、画像の鮮鋭度、画像ノイズ、コントラスト、暗い背景の有無、シーンのバランス、肌色、飽和、クリッピング、エイリアス、圧縮状態のうち1つまたは複数を含み、
前記内容は、人の数、人の性別、人の年齢、赤目、瞬き、感情表現、頭の大きさ、変換の問題、被写体の中心性、シーンの場所、シーンの種類、シーンの固有性のうちの1つまたは複数を含むことを特徴とするシステム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−20642(P2013−20642A)
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願番号】特願2012−221062(P2012−221062)
【出願日】平成24年10月3日(2012.10.3)
【分割の表示】特願2009−505385(P2009−505385)の分割
【原出願日】平成19年3月30日(2007.3.30)
【出願人】(590000846)イーストマン コダック カンパニー (1,594)