3 General requirements for the performance evaluation

3.1 Responsibilities and resources

The manufacturer takes the responsibility for the initiation and/or the conduct of a performance evaluation study. He shall define the responsibility and the interrelation of all personnel who manage

and conduct the performance evaluation of IVD MDs, particularly for personnel who need the

organisational freedom and authority to

a) assess the validity of test results and data already available;

b) specify performance claims which shall be further examined or confirmed;

c) specify and document the evaluation plan and the test procedures;

d) prepare the evaluation report.

The manufacturer shall appoint a co-ordinator with overall responsibility of the performance evaluation

study. The co-ordinator shall himself assure that adequate resources are available. The investigator

shall ensure that the evaluation plan is followed at his location and that the study is appropriately

reviewed from an ethical point of view.

3.2 Documentation

The documentation of the performance evaluation study shall contain the files relating to clauses 3 to

7 of this standard and shall be part of the technical documentation of the IVD MD.

3.3 Final assessment and review

The co-ordinator shall assess and document which performance claims are met, state whether claims

are not met and give recommendations for corrective actions, where necessary.

The responsible management of the manufacturer shall make sure that the results of the performance

evaluation study and the recommendations for corrective actions are carefully considered and properly

documented before issuing a declaration of conformity.

4 Organisation of a performance evaluation study

4.1 Preconditions

Before starting a performance evaluation study it shall be ensured by the co-ordinator that

a) the performance claims of the IVD MD which are the subject of the study are specified;

b) the IVD MD has been manufactured under controlled production processes and conditions;

c) the IVD MD to be evaluated meets the quality control release specifications;

d) a sufficient number of samples of the IVD MD can be provided during the entire period of the

performance evaluation study;

e) all legal requirements for performance evaluation studies are met;

f) the investigator(s) is (are) adequately skilled and trained to conduct the study and the necessary

resources are available.

4.2 Evaluation plan

The evaluation plan shall state the purpose on scientific, technical or medical grounds, the scope of

the evaluation, the structure and organization of the study and the number of devices concerned.

Defining the objective of the study, the co-ordinator shall have assessed which performance claims

are already verified by data or scientific literature.

The evaluation plan shall be designed to minimise the requirements for invasive sampling. In the case

of IVD MDs for self-testing it shall be ensured that the evaluation plan is appropriate and acceptable to

users and the information provided shall be clear and easily understood.

The evaluation plan shall specify

a) that the investigator(s) is (are) adequately skilled and trained to use the IVD MD;

b) the list of laboratories or other institutions taking part in the performance evaluation study; for selftesting,

the location and number of lay persons involved;

c) the time-table;

d) the necessary minimum number of probands from whom specimens are collected by invasive

procedures in order to adequately assess the performance of the IVD MD;

e) instructions for use including a description of the conditions of use;

f) the performance claims (e.g. analytical sensitivity, diagnostic sensitivity, analytical specificity,

diagnostic specificity, accuracy, repeatability, reproducibility) to be validated;

g) the format of performance study records.

4.3 Sites and resources

In general, the performance study procedure(s) shall be carried out under conditions reflecting the

relevant intended conditions of use.

The co-ordinator shall take the responsibility for the proper conduct of the performance evaluation

study at all sites. All investigators shall be named.

The co-ordinator shall ensure adequate competence and skill at all sites involved and that the

necessary resources are available.

Where lay persons are involved in a performance evaluation study of an IVD MD for self-testing, the

location of the study and the number of persons shall be given. The co-ordinator shall specify the

criteria for the selection of a representative panel.

Especially for studies involving lay persons it shall be ensured that these persons do not receive

additional information on the use of the IVD MD apart from that which is provided with the IVD MD

when it is placed on the market because the comprehension of the manufacturer's instructions for use

is one of the important aspects of the study. lt shall also be ensured that the untrained person(s) do

not receive any additional information or help, e. g. from a tutor, other than the training specified and

provided by the manufacturer in the instructions for use.

4.4 Basic design information

The co-ordinator shall provide the investigator(s) with sufficient information in order to understand the

function and application of the IVD MD and, where necessary, the investigator shall make himself

familiar with the IVD MD and its application. The information provided shall include a statement that

the device in question conforms with the requirements of the Directive 98/79/EC apart from those to be

evaluated.

4.5 Experimental design

The experimental procedures to validate each performance claim subject to the performance

evaluation study shall be documented in the evaluation plan.

Special consideration in performance evaluation studies of reagents/kits shall be given, where

applicable, to the following:

– specification of type (e.g. serum, plasma, urine) and properties (e.g. concentration range, age

and sex of the proband population) of specimens appropriate to the intended use;

– probands to be enrolled;

– suitability, stability and volume of specimens and specimen exclusion criteria;

– blind procedures, where necessary;

– reagent stability;

– inclusion of common interfering factors, caused by specimen condition or the

pathological/physiological status of the specimen donor or treatment;

– conditions for use which can be reasonably anticipated; special attention shall be paid to the

conditions of use by lay persons;

– selection of an appropriate reference measurement procedure and reference material of

higher order, where available;

– determination of the status of specimens (for qualitative tests with a nominal or ordinal scale);

– calibration procedures, including traceability, where appropriate;

– appropriate means of control;

– limitations of the test;

– criteria for re-examination and data exclusion;

– availability of additional information concerning the specimen or donor if follow-up of

unexpected results is required;

– appropriate measures to reduce risk of infection to the user.

Where the study is intended to validate the performance claims of an instrument special consideration

shall be given additionally to the following:

– maintenance and cleaning;

– carry-over effects;

– software validation.

NOTE For the investigation of the technical aspects of instruments, other standards can be relevant.

4.6 Performance study records

The performance study records shall

– refer to the experimental procedures in the evaluation plan;

– be unequivocally identifiable;

– contain or refer to all results and related relevant data;

– be part of the technical documentation of the IVD MD.

The protection of all confidential data shall be ensured.

4.7 Observations and unexpected outcomes

Special attention shall be paid to observations and unexpected outcomes, e. g. drop outs, outliers,

instability of sample or reagent signal etc., non-reproducibility, non-correlation of results to the

reference or to the diagnostic pattern, defects or breakdowns, software errors, or error signals.

Any deviation from the defined procedures shall be recorded. In the case of IVD MDs for self-testing,

the investigator or tutor shall duly note any difficulty or question a user may have and any deviation

from the mode of application of the IVD MD as described by the manufacturer.

Any such observation shall be properly recorded. The co-ordinator shall, together with the investigator,

trace the cause whenever possible. The result shall be recorded and shall be part of the evaluation

report.

Where the validity of the examinations already performed may be questionable because of an

identified source of error the tests shall be repeated after exclusion of that cause.

Where a misuse or misinterpretation of the instructions for use has been the cause and where an

unexpected risk inherent to the product design or the mode of application has been identified this shall

be clearly stated.

The proposals of the investigator(s) and the co-ordinator for any improvement of the IVD MD and/or its

application shall be recorded.

4.8 Evaluation report

The co-ordinator shall establish an evaluation report. It shall contain a description of the study, an

analysis of the results together with a conclusion on the performance claims investigated.

The report shall also discuss any unexpected outcomes which have occurred. It shall identify the

cause whenever possible and give recommendations for corrective actions to be taken, where

necessary.

If several studies have been conducted for one IVD MD, a single summarizing report may be

established.

5 Modifications during the performance evaluation study

Where the manufacturing process has been changed it shall be checked whether the performance

claims of the IVD MD still conform to those which had been set initially. Otherwise the validity of the

examinations already performed shall be questioned and the evaluation plan shall be revised

accordingly.

Where design changes are introduced, the evaluation plan shall be revised.

6 Re-evaluation

In case of changes to the design or manufacturing process of the IVD MD, the performance evaluation

study shall be repeated as far as necessary, to ensure that the intended use and the performance

claims of the IVD MD placed on the market are adequately evaluated.

This re-evaluation may refer to documented results of a preceding evaluation insofar as these are considered valid and transferable after critical review.

7 Protection and safety of probands

The removal, collection and use of tissues, cells and substances of human origin is governed, in

relation to ethics, by the principles laid down in the Convention of the Council of Europe for the

protection of human rights and dignity of the human being with regard to the application of biology and

medicine and by any national regulations on this matter.

In any case, the results obtained from a specimen by means of the IVD MD under evaluation shall not

be used for other purposes than for performance evaluation, unless ethical reasons, fully supported by

a responsible medical professional, suggest the contrary. In such a case the medical professional

assumes complete responsibility.

3 性能评估的一般要求

3.1 责任和谋略

生产商负责性能评估研究的开始和/或引导。他应规范明确所有管理和引导IVD-MD性能评估的人员的责任和相互关系，尤其对那些需要组织的自由和授权进行

1， 评估已有的测试结果和数据的有效性。

2， 详述/指定需要进一步检查或确认的性能声明。

3， 详述/指定并记录评估计划及测试过程。

4， 准备评估报告。

生产商应指定一个协调者总体负责性能评估研究。协调者应确保具有所需的才智能力。审查者应确保在他手上评估计划正确轨道进行，并且在伦理学上合适。

3.2 记录

性能研究的记录应包括相关于本标准的条款3到7要求的文件。并应成为IVD MD技术文档的一部分。

3.3 最终评估和回顾

协调者应评估并记录那些性能声明是符合的，表明是否有不符合的声明并需要的话，给出改进建议。

生产商的负责任的管理应确保性能评估研究的结果和改进建议受到仔细考虑并适当记录，然后才能发布（评估结果的）一致性声明。

4. 组织一个性能评估研究

4.1 先决条件

在开始实验前，协调者需要确保

1. IVD MD的性能声明，也就是研究的主题是指定的。

2. IVD MD  在受约束的生产过程和条件下生产出来了。

3. 要评估的IVD MD 符合质量控制标准。

4. 在全部研究过程中有充足数目的IVD MD样品提供。

5. 符合所有的法律法规对性能评估研究的要求。

6. 研究者具有足够的技能并被培训过，进行试验，同时，足够的资料可以得到。

4.2 评估计划

评估计划需讲述从科学，技术或医学的背景上的目标，评估的范围，所进行的研究的组织结构以及有关的（医疗）设备（此处应指实验对象，也就是试剂）的数目。

在明确实验目标时，协调者应核定哪些性能声明已经被数据或科学文献所核实。

设计评估计划时，应最小化有扩散危害的样品的需求。在IVD MD用来自我测试的情况下，应确保评估计划是适当的，并让使用者可（理解）接受，同时所提供的信息应清晰并易理解。

评估计划应详述并指定：

1. 研究者具有足够的使用IVD MD的技能和培训。

2. 列出参与性能评估实验的实验室或机构；对自我测试的情况，需要包括参与实验人员（普通人，无医学背景的人）的定位和数目。

3. 时间表

4. 所必需的最小数目的人群，他们的样本通过侵入性过程所采集，用来确切评估IVD MD性能。

5. 操作指南包括使用条件的描述。

6. 所认证的性能声明（例如，分析敏感度，诊断敏感度，分析特异性，诊断特异性，精度，可重复性，重复能力）

7. 性能研究记录的格式。

4.3 位置和资料

总体上，性能研究过程应在反应出实际使用条件相关的情况下进行。

协调者应负责性能评估过程各步骤的适当的指导。所有的研究者应留下姓名。

协调者应确保在各步骤都具有足够的技能并有必须的谋略。

当普通人卷入自我测试的研究时候，需要给出进行研究的地址和人员数目。协调者应详述代表性的小组的选择的标准。

尤其当研究包括普通人时候，应确保这些人员不会得到额外的使用IVD MD的信息，除了在投放市场时候所提供的和IVD MD一起的信息，因为对生产商的使用指南的理解是研究所包括的一个重要方面。也需要确保未受训人员（普通人）不会得到额外的信息与帮助，比如从一个导师那里，除了那些厂商的使用指南中的那些训练。

4.4 基本设计信息

协调者需提供给研究者足够的信息，以理解IVD MD 的功能和应用，并且，当需要时，研究者自己应熟悉IVD MD及应用。所提供的信息应包括一个陈述，所研究的设备（实验对象）符合98/79/EC标准要求，不仅仅是评估的那些。

4.5 实验设计

实验过程的每一步都需要记录在评估计划中。

试剂/装备的性能评估研究所需要的特别考虑，当需要时，需要给定，例如：

-所适用的标本的种类（如：血清，血浆，尿液）和属性（如：浓度范围，实验的人口的年龄和性别）

-实验人群

-标本的合适性，稳定性与数量及排除标准。

-双盲过程，如果需要的话。

-试剂稳定性

-由标本条件或标本捐献者的病理/生理状态引起的常见干扰因子。

-可以合理预测到的使用条件；尤其是普通人使用所需的条件。

-选择合适的更高层次的参考测量过程和材料，需要的话。

-决定标本的状态（用来定性测试的少量的或序数的等级）

-校准过程，包括需要时的可追溯性

-合适的对照方法

-实验的弱点，限制。

-重新检测及数据剔除的规范。

-可用的额外的关于样本或捐者的信息，若需要对不符合期望的结果进行追访。

-适当的手段来减少使用者感染的危险。

当研究试图验证一个仪器的性能声明时，下面的特别考虑也需要给定：

-维护和清洁

-延期的影响

-软件确认。

注意：对于仪器的技术方面的研究者，还有其他的可能相关的标准。

4.6 性能研究记录

记录应：

-参照评估计划中的实验过程

-毫不含糊地确认

-包括或参照所有结果及相关数据。

-成为IVD MD的技术文档的一部分。

机密数据的保护需要确保。

4.7 观测和非期待的结果

需要特别的注意观测与不符的结果，例如，丢弃的结果，外层的结果，样品或试剂的不稳定性信号等等，不可重复性，结果对参考值或对诊断模式的不相关性，缺陷或故障，软件错误，或误差信号。

任何对确切的（实验）过程的偏离都应被记录。在自测IVD MD的案例中，研究者或导师应准确标注使用者可能遇到的问题及困难，以及对IVD MD生产商的使用指南所描述的使用方式的偏差。

所有的这些观测应被正确记录。可能的话，协调者应与研究者一道，探求原因。结果应被记录并成为评估报告的部分。

当已经完成的检测的有效性被质疑，因为识别了错误的根源，那么这个测试应该被重复，在排除了该错误原因后。

当一个对用户指南的错误解读或错误使用成为原因，以及那些起源于产品设计或应用方式的非预期的风险被识别，需要被清晰称述。

研究者及协调者对IVD MD 的改进和/或使用的提议应被记录。

4.8 测评报告

协调者应建立评估报告。应包括对研究的描述，结果的分析和对所研究的性能声明的结论。

报告也应该讨论所发生的任何非期望的结果。应辨别可能的原因并给予纠正的推荐行为，当需要的时候。

当对同一个IVD MD的几个研究都进行，应该建立一个独立的总结报告。

5 性能评估研究的修改

当生产过程改变时候，应当检查IVD MD的性能声明是否仍然符合那些最初设置的。否则，那些已经进行了的检测应被质疑，同时，评估计划该做相应修改。

6 重新分析

当IVD MD设计或生产过程有所改变，性能测试研究，只要需要，应被重复，以保证投放市场的IVD MD的使用目的和性能声明被恰当评估。这重评估可以参照以前的记录了的评估结果，只要它们在关键回顾后被认可有效和可转换。

7 参加实验人员的安全与保护

对源自人身的组织，细胞和物质的移除，收集和使用，应根据伦理学来监控，由