IAAC / PTB Proficiency Testing Training Course / Planning Workshop
Part I
REPORT
24 – 26 April 2007
Lima, Peru
Moderation: Manfred Kindler PTB Braunschweig Germany Kindler International Division [email protected] Assistance: Maria Imilce Zuta Chong
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 2/26
2
Table of Contents I. Introduction 3 II. Summary of the Workshop Process and Outputs Introduction to the Workshop 5 Session 1: Setting the Scene 5 Session 2: Identifying demand 7 Session 3: Identifying priorities 8 Session 4: Identifying potential PT providers 11 Session 5: National PT capability 12 Session 6: Financing 12 Session 7: Draft Action Plan 13
III. Training Workshop Evaluation 17 ANNEX 1: IAAC/PTB PT training workshop program 19 ANNEX 2: List of Participants 21 ANNEX 3: Draft Program of IAAC / PTB PT training workshops part II and III 23
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 3/26
3 I. Introduction
The IAAC/PTB Proficiency Testing Training Workshop was the first of a planned series to be jointly organized by the InterAmerican Accreditation Cooperation (IAAC) and the Physikalisch-Technische Bundesanstalt (PTB). The first IAAC-training workshop was organized during 23-25 April 2007 at the Hotel Prince, Lima, Peru. The host country organization was INDECOPI. The training course / workshop had its aim to enhance capabilities of accreditation bodies in developing the provision of proficiency testing (PT) schemes. The series of training courses / workshops have the rationale:
• 17025 requirement for quality control of tests and calibrations à proficiency testing (PT) difficulties in the operation of and the access to PT schemes on a national and regional level are wide spread build on previous capacity building activities and meet demand to support qualification of national ABs and PT providers in the region
• facilitate exchange of experiences from countries with different stage of development
• develop respective practical guidelines
Physikalisch-Technische Bundesanstalt
Workshop Homework
•Basic information (relevant standards and policies)•How to identify the need for PT schemes on a national level•How to identify and motivate PT providers on a national level ABs identify their priority
needs for PT and identify appropriate candidates for PT providers
•Statistical Evaluation (ISO 13528), technical design of PT scheme•Running a PT scheme (based on the PT exercise) Run a PT scheme in the
national priority area•Results of the PT exercise•National experiences with PT schemes•Lessons learned•The way forward (e.g. accreditation of PT-Provider: criteria, how to go regional?)
1
3
2
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 4/26
Sequence: 1. The capability of the national ABs from developing countries to identify the
national needs for PT and to identify national providers for PT is enhanced (e.g. respective practical guidelines for the region are developed) The national AB and the relevant national PT providers are able to run a PT scheme in their respective country
3. Analyze experience and modify practical guidelines for running PT schemes in developing countries
Twenty participants from 12 countries in Latin-America and 4 resource persons participated in the training workshop. The participating economies are at different levels of PT development. All participating organizations are accreditation bodies.
By a simple questionnaire about theoretical knowledge of ISO Guide 43 and ISO 13528 and practical experience in organization, coor-dination, participation and accre-ditation of PT schemes the quali-fication of the participants was estimated and ranked by a two dimensional (theory and practice) 10 point score. The anticipated impact of the 3 IAAC-PTB-workshops was demonstrated.
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 5/26
II Summary of the Workshop Introduction to the Workshop The PTB Project Coordinator Mr. Ulf Hillner, welcomed the participants, facilitated self introduction of the participants and introduced the training workshop, its program
and process. The IAAC representative Mrs. Barbara Belzer, NVLAP could not attend the meeting due to the fact that she suddenly fell ill. The PTB consultant Manfred Kindler moderated the workshop, assisted by the consultant Mrs. Maria Imilce Zuta Chong, INDECOPI technical secretary of ISO CASCO, who reported the Spanish languaged results in this summary. Session 1: Setting the Scene Mr. Philip Briggs, Proficiency Testing Australia General Manager and Chairman of the APLAC Proficiency Testing Committee, introduced the Session 1 by an Input presentation about the background: PT-schemes – why and how? Session I – Setting the scene General introduction to the background of PT-schemes Input presentation PT-schemes - why and how? Some basic principles…
• different types of PT, • relevant standards and guidelines, • motivation and use of PT, • relevant ILAC policies and IAAC policies
The Workshop Session about identification and sequence of necessary steps to carry out a PT program resulted in 5 main steps and 15 sub steps: I Basement by Accreditation Body:
Policy II PLAN by Acc Body/ PT Provider: PT Preparation III DO by participating laboratories Sample Analysis IV CHECK by Acc Body / PT Provider: PT Evaluation V ACT by participating laboratories:
Improvement
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 6/26
¿P
or q
ué s
on n
eces
ario
s lo
s P
rogr
amas
de
PT?
El objetivo más conocido o más usual de los programas de ensayos de aptitud es evaluar la competencia técnica de los laboratorios, sin embargo el expositor puntualizó que no es el único objetivo que podemos perseguir, sino que también nos puede servir para la validación de métodos de ensayo, para definir el valor de referencia de un producto, mejorar las técnicas de ensayo o calibración, es un requisito de la norma ISO/IEC 17025, etc.
Para efectuar un programa de ensayo de aptitud pues se debe utilizar preferentemente un material de referencia, y si no contamos con ello un laboratorio de referencia. Además, es posible realizar programas de ensayo de aptitud tomando como valor de referencia, el valor de consenso del propio programa, pero contrastando dicho valor con un valor de referencia.
Para la realización de la estadística de resultados el número mínimo aceptable de laboratorios participantes es de 10, en el caso de una auditoria de medición o de comparación interlaboratorio de calibración, puede ser por lo menos dos laboratorios, siendo uno de ellos el laboratorio de referencia.
¿Cóm
o ha
cer u
n P
rogr
ama
de P
T?-
Pas
os n
eces
ario
s
Se efectuó una “lluvia de ideas” entre los participantes y se obtuvo los siguientes resultados: a) Formación y entrenamiento del Organismo de Acreditación b) Definición de la política y procedimientos c) Identificación de los programas de interés d) Determinación de costos e) Identificación de barreras f) Identificación de los laboratorios participantes g) Identificación de las muestras de referencia o los laboratorios de referencia h) Identificación de los proveedores de programas de comparaciones interlaboratorio i) Diseño del programa, formatos a utilizar, procedimiento para el envío de muestras, para
la manipulación de las muestras, etc. j) Contar con expertos técnicos, con la estadística a utilizar para el análisis de datos. k) Informe de Resultados.
Fact
ores
de
éxito
y o
bstá
culo
s
Al igual que en el caso anterior, se efectuó una “lluvia de ideas”, identificándose lo siguiente: Factores de éxito:
a) Apoyo técnico y económico b) Perseverancia c) Dedicación
Principales obstáculos: a. Contar con el número adecuado de laboratorios b. Contar con materiales de referencia o laboratorios de referencia c. Contar con expertos técnicos d. Transporte e. Cumplimiento de los tiempos de entrega por parte del organizador y del
laboratorio participante f. Regulaciones aduaneras de los países, como la sanitaria y fitosanitaria
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 7/26
Session 2: Identifying Demand Mr. Nicolas Molina, DTA IBMETRO Bolivia and Mrs. Aida López from ema Mexico presented their experiences with the establishment of national accreditation schemes in their countries. Success factors and obstacles were identified during the discussion.
Session II - Identifying demand Presentation 2 Examples from the region (15 min each)
Nicolas Molina,IBMETRO Aida López, ema
Discussion: success factors? 2-3 Working groups: How to identify demand? Presentation of working group results, discussion, identification of action items for NABs, IAAC, others
Based on this structure scheme all relevant relations of an international PT system were visualized. With a systematic Structure- Process – Outcome – Analysis the role of each component, the type and results of all bilateral relations could be completely defined. A special filter (for example PT interests) will identify the relevant players in international and national PT schemes.
This scheme was used to identify the demands, priorities and potential PT providers. ¿Cómo identificar la demanda de los Ensayos de Aptitud? – Sistemática a seguir
Se planteó la sistemática para identificar la demanda, la cual se encuentra en el diagrama que define la estructura de las entidades que están relacionadas directa o indirectamente en la ejecución de los programas de comparaciones interlaboratorio; dicha interrelación nos brinda a su vez un modelo del proceso que esta estructura puede seguir con el objeto de conseguir los resultados esperados.
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 8/26
Session 3: Identifying Priorities After the presentation of experiences from the region 3 working groups defined criteria for prioritization and identified demands and connected priorities. Session III - Identifying priorities Input: Examples from the region Working groups: How to identify priorities? Presentation of working group results, discussion, identification of action items for NABs, IAAC, others
¿Cómo priorizar las demandas identificadas?
Una vez que se determinaron los factores considerados como la demanda, se procede a valorar la prioridad de cada uno de ellos. Se conformaron tres grupos de trabajo, cada uno de los cuales otorgó una prioridad a cada uno de los componentes, de acuerdo al enfoque y puntos de vistas del grupo.
PT PROVIDER
ACCREDI-TATION BODY
TEST LAB CAL LAB CERTIFICATION BODY
INSPECTION BODY
TRADE EXPORTERS INDUSTRY
BIPM
REFERENCE
LAB
ISO/IEC ILAC GOVERNMENT
CONSUMER
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 9/26
INSTITUCION DEMANDA ORDEN CRITERIO
UNIVERSIDAD I&D
Asesoramiento, investigación PB
Aplicación de la investigación desarrollada, Uso de sus profesionales, Retroalimentación de necesidades del país
Soporte teórico –técnico del elemento de comparación
Traceability (competence), R+d, Clients Interest (industry, gov.), Stakeholders interest
6 Resources
LAB REFERENCIA
Evidenciar competencia PA Cumplir BIPM y demostrar competencia
Reconocimiento de Competencia Técnica (AC)
6 Soporte teórico –técnico del elemento de comparación
Clients interest (requirements mandatory), Traceability (Competence), Security
1 Member by Int. ORG., Int. recognition, Accredited
LAB ENSAYO Requisito Norma, requisitos del cliente, exigencia gubernamental, requisitos del OA
PA Cumplir requisitos de acreditación, reglamentaciones, validez de los resultados
Lista de proveedores de PT, Regla-mentos, Leyes, facilidades, Costos bajos
5 Herramienta de OI y CP para demostrar mediciones
Clients interest (requirements mandatory), Traceability, Accreditation
2 Accredited, Resources
LAB CALIBRACION
Requisito Norma, requisitos del cliente, exigencia gubernamental, requisitos del OA, trazabilidad de las mediciones
PA Necesidad de demostrar trazabilidad
Lista de proveedores de PT, Regla-mentos, Leyes, facilidades, Costos bajos
5 Herramienta de OI y CP para demostrar mediciones
Clients interest (requirements mandatory), Traceability, Accreditation
2 Accredited, Resources
ORG INSPECCION
Servicios de laboratorios de ensayo confiables, competencia técnica
PM
Lista de proveedores de PT, Regla-mentos, Leyes, facilidades, Costos bajos.
4 Relacionados con relación comercial
Clients interest (requirements mandatory), Accreditation
3 Accredited, Resources
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 10/26
INSTITUCION DEMANDA ORDEN CRITERIO
CERT PRODUCTO
Servicios de laboratorios de ensayo u organismos de inspección confiables
PM
Lista de proveedores de PT, Regla-mentos, Leyes, facilidades, Costos bajos
4 Relacionados con relación comercial
Clients interest (requirements mandatory), Accreditation
3 Accredited, Resources
INDUSTRIA Competitividad, facilitar el comercio, control de procesos, reducción de costos
PA
OEC den resultados confiables para dar soporte al producto 3
Produce a partir de la demanda
Clients interest (requirements mandatory), Regulations, Insurance, Final consumer 4
Scandals, Resources, Security
COMERCIO Competitividad, facilitar el comercio, control de procesos, reducción de costos PA
Comercio nacional e internacional
OEC den resultados confiables para dar soporte al producto 2
Regentan la relación comercial
Regulations, Sellers/buyers interest, Market interest 4 Scandals, Resources
EXPORT Competitividad, facilitar el comercio, control de procesos, reducción de costos PA
OEC den resultados confiables para dar soporte al producto, Regulaciones adecuadas
2 Produce a partir de la demanda
Trade, Regulations 4 Scandals, Resources
CONSUMI-DORES
Seguridad, confianza en los productos PB Poco conocimiento de los requisitos
Satisfacción de sus necesidades (precio, cantidad, disponibilidad)
1 Origina demanda
Health, Safety, Labeling requirements 5 Scandals, Safety, Price, Standards compliance
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 11/26
Session 4: Identifying potential PT Providers After the exchange of experience from the region potential PT providers were identified using the structure scheme. Session IV - Identifying potential PT providers Input: Requirements for PT Providers Input: Examples from the region Working groups: How to identify PT-Providers? Presentation of working group results, discussion, identification of action items for NABs, IAAC, others
Identificación de potenciales Proveedores de PT
En principio el proveedor de PT debe cumplir con la Guía ISO/IEC 43-2 (también con el ILAC-G-13) esto es lo más conveniente, no obstante, no siempre se cuenta con proveedores para todas las ramas o áreas, o más específicamente para los productos que los países miembros necesitan.
Se propone tener en cuenta por ejemplo los siguientes criterios: que cuente con procedimientos para la realización de la actividad en cierta medida alineados con la Guía ISO/IEC 43, que cuenten con personal con competencia para el desarrollo de esta actividad, la información que brindan, por ejemplo referida a la homogeneidad de la muestra, confidencialidad en el manejo de la información, que cuente con programas con varias rondas y que se otorguen con regularidad, etc.
Las fuentes de proveedores con las que contamos son: EPTIS, ILAC, BIPM, APLAC, IAAC, NMIs, etc.
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 12/26
Session 5: National PT capability After the exchange of experience from the region the important components for setting up the national capability for proficiency testing were identified.
Session V – National PT capability Input: Examples from the region Working groups: How to improve the National PT capabilities? Presentation of working group results, discussion, identification of action items for NABs, IAAC, others
¿Se cuenta con la capacidad técnica (competencia técnica) para realizar los PT?
Para contar con la competencia técnica se requiere contar con cierto perfil, además de capacitación, entrenamiento y cierta experiencia en la realización de los PTs, así como contar con los recursos necesarios que estos programas demandan.
Session 6: Financing Using the structure scheme several potential sponsors and donors for the development and implementation of PT schemes were identified.
Session VI – Financing Working groups: How to finance PTs? Presentation of working group results, discussion, identification of action items for NABs, IAAC, others
¿Cómo financiar los PTs?
La opción que propone el expositor es buscar apoyo para entrenamiento que lo otorgue el gobierno u otras entidades. No obstante, algunos participantes proponen como alternativa que se comience a organizar los primeros PTs promoviendo que los participantes ingresen en los PTs, y que los costos de estos sean cubiertos por los propios participantes y si se logra alguna subvención al respecto, cobrar al laboratorio participante un monto mínimo.
Los programas de PTs “free of charge” no suelen ser valorados por los laboratorios participantes, aunque algunos países miembros mencionaron que han organizado PTs “free of charge” habiendo obtenido una participación aceptable ya que se consideran como válidos para las evaluaciones del Organismo de Acreditación, por ejemplo y ello es de interés para los laboratorios acreditados o en vías de acreditación. También se mencionó que los PTs que organizan las redes oficiales como el RELAC son gratuitos porque los laboratorios participantes son oficiales.
Se ha mencionado que los costos más altos se encuentran en los materiales de referencia, la logística del envío de las muestras. Algunos participantes coinciden en el logro de que se desarrollen los PTs en el país, depende esencialmente del empuje que le otorgue el Organismo de Acreditación al tema y del apoyo que este pueda recibir para ello no sólo económico y técnico, sino también del gobierno.
Tener contacto con entidades de apoyo, tales como UNIDO, ISO CASCO, ILAC, IAAC, etc.
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 13/26
Session 7: Draft Action Plan After the exchange of experience from the region potential PT providers were identified using the structure scheme.
Session VII – Draft Action Plan and Homework Collection and revision of action items; Timing and responsibilities Homework: What to do for the next workshop?
HOW TO START ?
STEP RESPONSIBLE ACTION MATERIAL SUPPORT RESULT DEAD-LINE
Accreditation Body (Acc B) + IAAC
Make the policy, procedures
Material on CD, ILAC Guide
All involved Institutions, Peers
Declaration + Procedures
Draft June
Policy
Training Acc B + IAAC Multiply
Information Material on CD
Peers Certificates, Qualification
Identify Programs
Acc B + IAAC Search for funding
IAAC, Reports, Internet, Interviews
EU, CI, Associations
List of Programs, Database
June
Identify Branches
Acc B Search for players
Internet, Material on CD Interviews
EU, CI, Associations Description
Database June
Identify Supporters
Acc B Identifying envolved institutes
Internet, Interviews
Involved Institutes, Peers
Supporter Pool, Database
June
Identify Demands
Acc B Search for demands
Material on CD, Interviews
Contact Persons, Peers
Database June
Identify Priorities
Acc B Estimate priorities
Material on CD, Interviews
Contact Persons, Peers
Database June
Identify Laboratories
Acc B + Branch Associations
Market Research
Material on CD, Inter-views, Market reports
Authorities + Associations
List + Database
June
Identify Reference
(Labs + Material)
Acc B + IAAC Search for References
Internet, PT-Results, Reports, Interviews
NMI, Authorities, COMAR, Reference Labs.
List of References, Database
June
Identify PT Provider Candidates
Acc B Search for Candidates
Material on CD, Interviews
NMI, Reference Lab., Peers
Candidates List, Database
June
Identify Experts
Acc B Search for Experts
Material on CD, Publications, Interviews
Involved Institutes, Peers
Expert Pool, Database
June
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 14/26
Contents of MS Excel- Databases: Programs: Name, description, branch, time schedule, contact persons, web page, email Branches: Name, description, main companies, associations, PT demands, PT priorities Supporters: Name, description, institution, type of support, contact person, address, email Labs, CABs: Name, branch, scope, description, contact persons, address, email PT Providers: Name, branch, scope, description, web page, contact person, email Experts: Name, branch, scope, description, address, email, activities
Awareness Campaign
STEP RESPONSIBLE ACTION MATERIAL SUPPORT RESULT DEAD-LINE
Type of events
Acc B + IAAC Design Material on CD Peers, Donors
List June
Locations Acc B + Partner Search, Cooperation
Business Maps, Interviews
Reports List June
Resources Acc B + Partner Search, Cooperation
Interviews Involved Institutes
List June
Program Acc B + Partners Program Material on CD Partners, Peers
Program June
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 15/26
¿CÓMO EMPEZAR?
PASO RESPONSABLE ACCIÓN MATERIAL SOPORTE RESULTADO
Organismo de Acreditación + IAAC
Elaborar la Política y procedimientos
Material en el CD, Guías ILAC
Todas las instituciones involucradas, Pares
Declaración + Procedi-mientos
Política de Entrenamiento
Organismo de Acreditación + IAAC
Multiplicación de la información
Material en el CD Pares Certificados, Calificación
Identificación de Programas
Organismo de Acreditación + IAAC
Búsqueda de fondos
IAAC, Informes, Internet, Entrevistas
Unión Europea, Comunidad Internacional, Asociaciones
Lista de Programas, Base de Datos
Identificación de Ramas
Organismo de Acreditación
Búsqueda de personal
Internet, Material en el CD Entrevistas
Unión Europea, Comunidad Internacional, Asociaciones,
Base de datos
Identificación de Soportes
Organismo de Acreditación
Identificación de instituciones involucradas
Internet, Entrevistas
Insituciones involucradas, pares
Grupo de entidades de soporte, Base de datos
Identificación de Demandas
Organismo de Acreditación
Búsqueda de demandas
Material en el CD, Entrevistas
Personas de contacto, pares
Base de datos
Identificación de Prioridades
Organismo de Acreditación
Estimación de prioridades
Material en el CD, Entrevistas
Personas de contacto, pares
Base de datos
Identificación de Laboratorios
Organismo de Acreditación + Asociaciones (por ramas)
Investigación de mercado
Material en el CD, Entrevistas, Informes de mercado
Autoridades + Asociaciones
Lista + base de datos
Identificación de la Referencia (Laboratorios y Materiales)
Organismo de Acreditación + IAAC
Búsqueda de Referencias
Internet, Resultados de Ensayos de Aptitud, Informes, Entrevistas
Instituto de Metrología Nacional, Autoridades, COMAR, Laboratorios de Referencia.
Lista de referencias, base de datos
Identificación de los Candidatos de Proveedores Ensayos de Aptitud
Organismo de Acreditación
Búsqueda de candidatos
Material en el CD, Entrevistas
Instituto de Metrología Nacional, Laboratorio de Referencia, Pares
Lista de candidatos, Base de datos
Identificación de Expertos
Organismo de Acreditación
Búsqueda de Expertos
Material en el CD, Entrevistas Publicaciones,
Instituciones involucradas, pares
Grupo de expertos, Base de datos
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 16/26
Contenidos de la Base de Datos: Programas: Nombre, descripción, rama, cronograma, personas de contacto, página web, correo electrónico. Ramas: Nombre, descripción, principales compañías, asociaciones, demandas de proveedores de ensayos de aptitud, prioridades de proveedores de ensayos de aptitud. Soporte (están a favor): Nombre, descripción, instituciones, tipos de soporte, personas de contacto, dirección, e-mail. Laboratorios, Organismos de Evaluación de la Conformidad: Nombre. Rama, alcance, descripción, personas de contacto, dirección, correo electrónico. Proveedores de Ensayos de Aptitud: Nombre, rama, alcance, descripción, página web, personas de contacto, correo electrónico. Expertos: Nombre, rama, alcance, descripción, dirección, correo electrónico, actividades.
Campaña de Sensibilización
PASO RESPONSABLE ACCIÓN MATERIAL SOPORTE RESUL-TADO
FECHA LÍMITE
Tipos de eventos
Organismo de Acreditación + IAAC
Diseño Material en el CD
Pares, Donantes
Lista Junio
Ubicación Organismo de Acreditación + Socio
Búsqueda, Cooperación
Mapas de negocios, entrevistas
Informes Lista Junio
Recursos Organismo de Acreditación + Socio
Búsqueda, Cooperación
Entrevistas Insituciones involucradas
Lista Junio
Programa Organismo de Acreditación + Socios
Programa Material en el CD
Socios, Pares
Programa Junio
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 17/26
III Training Workshop Evaluation At the end of the seminar an overall evaluation was carried out using a questionnaire with structured questions to solicit participants’ feedback.
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 18/26
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 19/26
ANNEX 1: IAAC/PTB PT training workshop program
Workshop 1 of 3: Identifying Demand and PT-Provider Mon 23 Tue 24 Wed 25 Thu 26
Morning Preparation* Workshop Workshop
Afternoon Workshop Workshop Debriefing* * only for workshop “preparatory committee” including moderator and resource persons Day 1 - afternoon:
½ hr Registration of participants (?) INDECOPI
½ hr Opening Welcoming INDECOPI presentation of participants Moderator Introduction to workshop:
- background - program - methodology - goals - expectations
Moderator
Session I – Setting the scene
General introduction to the background of PT-schemes
1 hr Input presentation PT-schemes - why and how? Some basic principles…
• different types of PT, • relevant standards and guidelines, • motivation and use of PT, • relevant ILAC policies and IAAC policies
PTA: Philip Briggs Barbara Belzer NVLAP – IAAC-LSC
½ hr Questions & discussion ½ hr - Break - ½ hr Workshop Session: identification and sequence of
necessary steps to carry out a PT program Kindler
Session II - Identifying demand
½ hr Presentation 2 Examples from the region (15 min each)
Nicolas Molina IBMETRO Aida López ema
½ hr Discussion: success factors? Evaluation of first workshop part
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 20/26
Day 2:
½ hr Summary of first day introduction to second day Moderator Session II - Identifying demand cont.
1 hr 2-3 Working groups: How to identify demand? ½ hr Presentation of working group results, discussion,
identification of action items for NABs, IAAC, others
½ hr - Break - Session III - Identifying priorities
½ hr Input: Examples from the region Manfred Kindler 1 hr Working groups: How to identify priorities?
½ hr Presentation of working group results, discussion, identification of action items for NABs, IAAC, others
1 ½ hr Lunchbreak
Session IV - Identifying potential PT providers
½ hr Input: Requirements for PT Providers Philip Briggs ½ hr Input: Examples from the region Barbara Belzer
NVLAP – IAAC LSC 1 hr Working groups: How to identify PT-Providers?
½ hr Presentation of working group results, discussion, identification of action items for NABs, IAAC, others
½ hr - Break - Session V – National PT Capability
½ hr Collection and revision of action items; Timing and responsibilities
½ hr Evaluation of second day and outlook to last day Moderator
Day 3 – morning:
½ hr Summary of first day introduction to second day Moderator Session VI - Financing
1 hr Working groups: How to finance PTs? ½ hr Presentation of working group results, discussion,
identification of action items for NABs, IAAC, others
½ hr - Break - Session VII – Draft Action Plan and Homework
½ hr Collection and revision of action items; Timing and responsibilities
½ hr Homework: What to do for the next workshop? ½ hr Criteria: Who can participate in the next workshop?
½ hr Evaluation of whole workshop Moderator
Closing INDECOPI ANNEX 2: List of Participants
Country Name, Institution Institution e-mail
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 21/26
Argentina Julia Edith Sancricca
OAA (Organismo Argentino de Acreditación)
Australia Philip Briggs
PTA (Proficiency Testing Australia)
Hugo Guerrero Postigo
IBEMTRO (Instituto Boliviano de Metrología)
Bolivia Nicolás Molina González
IBMETRO (Instituto Boliviano de Metrología)
Chile Carolina Velásquez Cerda
INN (Instituto Nacional de Normalización)
carolina.velá[email protected]
Costa Rica Patricia Murillo Hidalgo
ECA (Ente Costarricense de Acreditación)
Cuba
Adalberto Collazo Palacio
ONARC (Organo Nacional de Acreditación de la República de Cuba)
Lorena Elizabeth Villarreal Villota
OAE (Organismo de Acreditación Ecuatoriano)
Dalila Elizabeth Chiliquinga Bonilla
OAE (Organismo de Acreditación Ecuatoriano
[email protected] Ecuador
Mónica Gualotuña
INEN
Ulf Hillner PTB [email protected]
Germany
Manfred Kindler PTB [email protected]
Guatemala Erik Roberto Alvarado López
OGA (Oficina Guatemalteca de Acreditación)
Honduras Maria Liza Madrid OHA - COHCIT [email protected]
Mexico Aida López Blanco
EMA (Entidad Mexicana de Acreditación)
Country Name, Institution Institution e-mail
Panama Miguel Mondragón
Consejo Nacional de Acreditación
mmondragó[email protected]
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 22/26
Paraguay
Julia Maldonado de Saldívar
ONA (Organismo Nacional de Acreditación)
Carolina Ortiz INDECOPI (Instituto Nacional de Defensa de la Competencia y de la Protección de la Propiedad Intelectual) Comisión de Reglamentos Técnicos y Comerciales
Cecilia Minaya INDECOPI [email protected]
Christian Uribe INDECOPI [email protected]
José Dajes INDECOPI [email protected]
Víctor Cerna INDECOPI [email protected]
Abed Morales INDECOPI [email protected]
Alex Vargas INDECOPI [email protected]
Peru
María Imilce Zuta Chong
Trinidad and Tobago
Giselle Guevara TTBS (Trinidad and Tobago Laboratory Accreditation Service)
Jamaica Claudette Brown Jamaica National
Agency for Accreditation JANAAC)
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 23/26
ANNEX 3: Draft Program of IAAC / PTB PT training workshops II and III
The PT Concept „Proficiency Testing“ for IAAC (Second draft Manfred Kindler, 04th May 2007)
The concept follows the PLAN – DO – CHECK – ACT principles of Deming. The structure is similar to the workshop program of APLAC-PTB, but the topics are espe-cially oriented to the specific situation of Latin-American countries and economies. Action plan
# Principle Date Activity
1 PLAN April 2007 Workshop I: Design
2 June 2007 Deadline for Homework of Workshop I
3 DO August 2007 Workshop II: Preparation
4 October 2007 Deadline for first part of Homework of Workshop II
5 December 2007 Start of PT Implementation
6 February 2008 Deadline for second part of homework of Workshop II: PT results – laboratories
7 CHECK April 2008 Workshop III: Evaluation
8 June 2008 Deadline for Homework of Workshop III – Report
9 ACT August 2008 Local presentations of results of PT to laboratories with report to the group
10 October 2008 Feedback meetings for laboratories about Cause Analysis and Corrective Actions
Remarks: - In a constant period of 2 months several activities as workshops, deadlines for homework and
reports and national events are planned. - The scope of PT-implementation should be reduced to easy to manage food sample like milk
powder - Reference material or reference laboratories should be used to avoid the complex statistical
treatment of data for the estimation of consensus values. - Non-parametric (robust) statistics should be used to be independent from normal distributed
data sets. - For each workshop minimum 2 high qualified resource persons should be available to assure
adequate theoretical and practical expertise. - Each workshop starts with input presentations, uses groupwork and break-out sessions and
ends with homework. - After the 3-day workshop a special training of one day with the resource person for advanced
qualified participants is attached. In the case of the second workshop this could be a training on statistical methods (Dan Tholen?).
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 24/26
Structure of Workshops I – III Workshop I: Design (Identifying Demand and PT-Provider) Lima, 24 – 26 April 2007
Time Tuesday Wednesday Thursday Friday
09:00 10:30 2 Demand 6 Financing Internal
11:00 13:00 3 Priorities PT schemes Evaluation
13:00 14:00 Lunch Lunch Lunch
14:00 15:30 1 Introduction 4 PT providers 7 Action Plan Planning
16:00 18:00 2 Demand 5 Nat. Capab. Homework Next courses
Workshop II: Preparation NN, August 2007
Time Wednesday Thursday Friday Saturday
09:00 10:30 Introduction 3 Human 5 Basic Special Course
11:00 13:00 1 Review Resources Statistics Statistics
13:00 14:00 Lunch Lunch Lunch Lunch
14:00 15:30 2 Evaluation 4 Sample 6 PT Organi- Special Course
16:00 18:00 and Decision characterization sation Statistics
Workshop III: Evaluation NN, April 2008
Time Wednesday Thursday Friday Saturday
09:00 10:30 Introduction 3 Statistical 5 Reporting Special Course
11:00 13:00 1 Review Calculations Advanced PT
13:00 14:00 Lunch Lunch Lunch Lunch
14:00 15:30 2 Evaluation 4 Evaluation 6 Report Special Course
16:00 18:00 of problems of results Next steps Advanced PT
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 25/26
Content of Workshops II and III Workshop II - Preparation: 1st Day Morning: Opening, Introduction, Presentation Session 1: Review of demands and resources
- Input presentation: Results of Workshop I - Groupwork: demands, priorities, market,,
personnel, technical and financial resources, identification of obstacles
Afternoon: Session 2: Evaluation and Decision
- Input presentation: Process Chain PT - Selection of PT type, samples, reference labs
participants, involved persons and institutions - Financial plan, time schedule, responsibility matrix
Workshop II - Preparation: 2nd Day Morning: Session 3: Involved parties
- Input presentation: Infrastructure of PT schemes - Groupwork: Logistics, client groups, supporters
scientific advice, awareness campaign Afternoon: Session 4: Sample Characterisation - Test parameter and matrix, homogenity, stability, - Production, transportation, storage,
- Sample preparation and handling by laboratories, - Reference material or labs, reference values, uncertainties
Workshop II - Preparation: 3rd Day Morning: Session 5: Basic Statistics
- Input presentation: Reference - assigned - consensus values - Normal distribution and robust statistic methods - Identification nad handling of stranglers and outliers - Calculation of between and within z-Scores - Graphical presentations, Youden-plots
Afternoon: Session 6: PT Organisation - Input presentation: SPO-Analysis of Process chains - Communication media and information material
- Risk analysis with Ishikawa-Diagram, - Actionplan with responsibility matrix, procedures - Homework with feedback
IAAC-PTB Workshop Proficiency Testing I April 2007
Kindler 26/26
Workshop III - Evaluation: 1st Day Morning: Opening, Introduction, Presentation Session 1: Evaluation of PT
- Input presentation: Results of Workshop II - Groupwork: review of experiences during the implementation - Presentation of results
Afternoon: Session 2: Problem Analysis
- Input presentation: Cause Analysis Tools - Cause analysis of detected problems - Development of corrective and preventive actions
Workshop III - Evaluation: 2nd Day Morning: Session 3: Statistical evaluation
- Input presentation: Statistical method - Homogenity and stability - Z-Score calculations - Between and within z-Scores
Afternoon: Session 4: Evaluation of the results
- Input presentation: Outlier tests - Evaluation of stranglers and outliers, - Comparison of analytical methods, - Check on obvious manipulations
Workshop III - Evaluation: 3rd Day Morning: Session 5: Reporting the results
- Input presentation: Content of the report - Introduction, Glossary, Explanations - Description of the PT scheme - Observations and recommendations
Afternoon: Session 6: Issuing the report - Design of the report, annexes - Graphical presentations
- Powerpoint-presentation of the report - Public and confidential part of PT report - Next steps: Actionplan with responsibility matrix - Homework with feedback