Presentación de PowerPoint - Invima · CICLO DE VIDA DE UN DISPOSITIVO MÉDICO BAJA IMPORTANCIA...

42
GESTION DE ALERTAS DE DISPOSITIVOS MÉDICOS CON ENFOQUE DE RIESGO JAIME ORLANDO AVILA PACHECO Grupo de Tecnovigilancia Dirección de Dispositivos Médicos y Otras Tecnologías BOGOTA D.C. 26 de Octubre de 2017

Transcript of Presentación de PowerPoint - Invima · CICLO DE VIDA DE UN DISPOSITIVO MÉDICO BAJA IMPORTANCIA...

GESTION DE ALERTAS DE DISPOSITIVOS

MÉDICOS CON ENFOQUE DE RIESGO

JAIME ORLANDO AVILA PACHECO

Grupo de Tecnovigilancia

Dirección de Dispositivos Médicos y Otras Tecnologías

BOGOTA D.C. 26 de Octubre de 2017

AGENDA TEMÁTICA

I. MARCO NORMATIVO

II. MARCO CONCEPTUAL

III. GESTION DE ALERTAS SANITARIAS

IV. PANORAMA DE RISARH A PARTIR DE IVC

V. LECCIONES APRENDIDAS

Decreto 19 10 enero 2012

Ordena al Ministerio de Salud y Protección Social, la expedición del Modelo de IVC Sanitario de los productos que trata el objeto del INVIMA (artículo 133)

Decreto 2078 8 octubre 2012

REDISEÑO INVIMA

Resolución 1229 23 abril 2013

Establece el modelo de inspección, vigilancia y control sanitario para los productos de uso y consumo humano

Desarrollos técnicos e instrumentos a cargo del

Ministerio de Salud y Protección Social e INVIMA

MARCO NORMATIVO

INSPECCIÓN, VIGILANCIA Y CONTROL

SANITARIO CON ENFOQUE DE RIESGO

INSPECCIÓN

Es el subproceso mediante el cual se realiza la VERIFICACIÓN de los objetos

de IVC sanitario, con el fin de determinar que sus características cumplan con

los estándares y requisitos establecidos en la normatividad vigente.

*Resolución 1229 de 2013 “Por la cual se establece el modelo de inspección, vigilancia y control sanitario para los productos de uso y consumo humano”.

Artículo 11

. Procesos de vigilancia y control sanitario.

VIGILANCIA

Es el subproceso mediante el cual se realiza el MONITOREO (observación

vigilante) de los objetos de IVC sanitario, con la intención que el asunto vigilado

se mantenga dentro de parámetros esperados.

CONTROL

Es el subproceso mediante el cual la autoridad sanitaria competente

INTERVIENE, para aplicar los correctivos sobre características o situaciones

críticas o irregulares identificadas en los objetos de IVC

CICLO DE VIDA DE UN DISPOSITIVO MÉDICO

BAJA

IMPORTANCIA

TOLERABLE

INDESEABLE

INTOLERABLE

INVESTIGACIÓN

Y INNOVACIÓN

FABRICACIÓN COMERCIALIZACIÓN USO DISPOSICION

FINAL

PREMERCADO POST MERCADO

REGISTRO

GESTIÓN DEL

RIESGO

CONDICIONES

IDEALES Y

CONTROLADAS

RIESGOS NO CONTROLADOS

FACTORES HUMANOS

FACTORES AMBIENTALES

AUSENCIA DE VIGILANCIA

SEGUIMIENTO A RECOMENDACIONES

DEL FABRICANTE

GESTION DEL RIESGO

TOMA DE MEDIDAS PREVENTIVAS Y

CORRECTIVAS.

VIGILANCIA PERMANENTE - RISARH

EVALUACIÓN Y REGLAMENTACIÓN

EFICACIA

EFECTIVIDAD

SISTEMAS DE

CALIDAD

¿POR QUÉ LA VIGILANCIA?

ESTABLECIMIENTOS VIGILADOS

Fuente: Empresas registradas en base de datos de la Dirección de Dispositivos Médicos y otras Tecnologías, a 28 de Septiembre de 2017

PRODUCTO

ACTIVIDAD

TOTAL FABRICAR IMPORTAR

Dispositivos médicos 490 2225 2715

Tecnología ortopédica

sobre medida 91 0 91

Dispositivos sobre

medida salud visual 82 0 82

Reactivos de

diagnóstico in-vitro 30 267 297

TOTAL UNIVERSO 693 2492 3185

% POR ACTIVIDAD 22% 78%

85%

9%

3%

3%

6%

Dispositivos médicos

Reactivos

Tecnología ortopédica (sobremedida)

III

COMUNICACION

II

GESTION DE RIESGOS

I

EVALUACION DE RIESGOS

COMPONENTES DEL ANÁLISIS DEL RIESGO

Resolución 1229 de 2013 “Por la cual se establece el modelo de inspección, vigilancia y control sanitario para los productos de uso y consumo humano”.

Artículo 11

. Procesos de vigilancia y control sanitario.

*Aplicación de metodologías utilizadas en Prospectiva Estratégica.

Mapa de priorización

Análisis Identificación

Elaboración de lista completa de variables.

Caracterización y selección de variables con mayor influencia

Ponderación de variables con mayor influencia

Priorización de establecimientos objeto de IVC con enfoque de riesgo

1

2

3

4

CONSTRUCCION MAPA DE PRIORIZACIÓN

EVALUACION DEL RIESGO

*Aplicación de

metodologías

utilizadas en

Prospectiva

Estratégica.

*Resolución 1229 de

2013. Modelo de IVC

Sanitario

MODELO DE IVC CON ENFOQUE DE RIESGO*

Variables Transversales

Variables Propias

RIESGO

SOA

Índice de Riesgo

Agregado IRA

Asociadas al Fabricante o Importador, en

las Fases del Ciclo de Vida de los Dispositivos Médicos

Asociado a Reportes del Programa

Nacional de Tecnovigilancia

*Adoptado en el Invima mediante Resolución 2014029950 de 2014

RIESGO SOA

Tipo de Evento o Incidente Adverso Reportado

Estimación según Frecuencia de Reporte

Grado de Afectación del Evento o Incidente según lo establecido en la Resolución

4816 de 2008

Causa del

evento o

incidente

adverso

NTC

5736:2009

Programa Nacional de Tecnovigilancia

Severidad

Ocurrencia

Afectación

MAPA DE RIESGO PARA LA PRIORIZACIÓN

DE VISITAS A ESTABLECIMIENTOS

FASE

VARIABLES MAPA DE RIESGO

FABRICACIÓN 1 Clasificación del riesgo de los Reactivos de Diagnóstico In vitro y Dispositivos Médicos

PROCESO DE

REGLAMENTACIÓN Y

AUTORIZACIÓN PARA

INTRODUCIR EL

PRODUCTO AL

MERCADO

2 Tipo de actividad de la cadena productiva (Fabricantes - Importadores)

3 Registros Sanitarios vigentes

4 Tipo de instalación certificada

5 Estándares Sanitarios (CCAA, Condiciones Sanitarias, Capacidad de Producción)

6 Responsable técnico

COMERCIALIZACION

(almacenamiento y

distribución)

7 Medidas sanitarias

8 Registros Sanitarios cancelados

9 Registros Sanitarios suspendidos

10 Denuncias

11 Tiempo transcurrido desde la última visita

USO – CONSUMO Y

DISPOSICIÓN FINAL

12 Alertas

13 Recall (Retiros)

14 % eventos adversos serios

15 % eventos adversos no serios

16 Resultado de la Metodología Signal

III

COMUNICACION

II

GESTION DE RIESGOS

I

EVALUACION DE RIESGOS

COMPONENTES DEL ANÁLISIS DEL RIESGO

Resolución 1229 de 2013 “Por la cual se establece el modelo de inspección, vigilancia y control sanitario para los productos de uso y consumo humano”.

Artículo 11

. Procesos de vigilancia y control sanitario.

*Aplicación de metodologías utilizadas en Prospectiva Estratégica.

DIRECCION DE DISPOSITIVOS

MÉDICOS

DIRECCIÓN DE OPERACIONES

GRUPOS DE TRABAJO

TERRITORIAL

Dispone lo necesario para ejecutar

actividades de IVC

Recopila información de resultados

de IVC y lo difunde a la Dirección

misional

Define prioridades de

vigilancia y solicita la

ejecución de

actividades, brindando

lineamientos técnicos

Realiza la programación y

ejecución de actividades de IVC

aplicando matrices de priorización

por riesgo (lineamientos técnicos de

la Dirección Misional y el esquema

operativo de la Dirección de

Operaciones Sanitarias)

GESTIÓN DEL RIESGO

III

COMUNICACION

II

GESTION DE RIESGOS

I

EVALUACION DE RIESGOS

COMPONENTES DEL ANÁLISIS DEL RIESGO

Resolución 1229 de 2013 “Por la cual se establece el modelo de inspección, vigilancia y control sanitario para los productos de uso y consumo humano”.

Artículo 11

. Procesos de vigilancia y control sanitario.

*Aplicación de metodologías utilizadas en Prospectiva Estratégica.

PARTES INTERESADAS

Institucional

Industria vigilada

Interinstitucional

Comunidad en general

COMUNICACIÓN DEL RIESGO

• DECRETO 3518 de 2006. Artículo 3

• Función esencial asociada a la responsabilidad estatal y ciudadana de protección de la salud, consistente en el proceso sistemático y constante de recolección, análisis, interpretación y divulgación de datos específicos relacionados con la salud, para su utilización en la planificación, ejecución y evaluación de la práctica en salud pública.

VIGILANCIA EN SALUD PÚBLICA

• RESOLUCIÓN 1229 de 2013. Articulo 11

• La Vigilancia Sanitaria comprende acciones sistemáticas y constantes de captura, análisis, y divulgación de información estratégica sobre elementos claves como hechos de alarmas sanitarias, puntos críticos de control o resultados adversos que alteran la calidad e inocuidad de las cadenas productivas de bienes y servicios. Esta observación vigilante se desarrolla a nivel de pre-mercado con base en el cumplimiento de requisitos preestablecidos y buenas prácticas, y a nivel de post-mercado con base en reportes de efectos y daños asociados al uso y/o consumo. Este proceso es liderado por el Instituto Nacional de Vigilancia de Medicamentos y Alimentos - INVIMA.

VIGILANCIA SANITARIA

• DECRETO 1562 de 1984. Artículo 2

• La vigilancia epidemiológica es un proceso regular y continuo de observación e investigación de las principales características y componentes de la morbilidad, mortalidad y otros eventos en salud en una comunidad, basado en la recolección, procesamiento, análisis, evaluación y divulgación de la información epidemiológica.

VIGILANCIA EPIDEMIOLÓGICA

TIPOS DE VIGILANCIA

VIGILANCIAS Y SU INTERACCIÓN

Responsabilidad estatal y ciudadana

de la protección de la salud. Decreto

3518 de 2006 Art. 3º

Puntos críticos de control o

resultados adversos que

alteran la calidad e

inocuidad de las cadenas

productivas de bienes y

servicios.

Resolución 1229 de 2013

Art.11

Morbilidad, mortalidad y

otros eventos en salud en

una comunidad.

Decreto 1562 de 1984

Art. 2

VE VS

Reactivovigilancia Tecnovigilancia

Farmacovigilancia, Biovigilancia

Vigilancia en Salud Pública

Vigilancia Epidemiológica

Vigilancia Sanitaria

Punto convergente VE-VS - VSP

VSP

DEFINICIONES

Dispositivo Médico Alterado. Es aquel que se encuentre inmerso en una de las siguientes situaciones:

a) Cuando sin el lleno de los requisitos señalados en el presente decreto, se le hubiere sustituido, sustraído total o parcialmente, o reemplazado los elementos constitutivos que forman parte de la composición o el diseño oficialmente aprobado, o cuando se le hubieren adicionado sustancias o elementos que puedan modificar sus efectos o sus características funcionales fisicoquímicas o microbiológicas;

b) Cuando sin el lleno de los requisitos señalados en el presente decreto, hubiere sufrido transformaciones en sus características funcionales, fisicoquímicas, biológicas y microbiológicas, por causa de agentes químicos, físicos o biológicos;

c) Cuando, se encuentre vencida la fecha de expiración correspondiente a la vida útil del dispositivo médico, cuando aplique;

d) Cuando no corresponda al autorizado por la autoridad sanitaria o se hubiere sustituido el original, total o parcialmente;

e) Cuando por su naturaleza, no se encuentre almacenado o conservado con las debidas precauciones;

f) Cuando se altere el diseño original o la composición del dispositivo médico.

DEFINICIONES

Decreto 4725 del 2005

Dispositivo Médico Fraudulento. Aquel que se comercializa sin cumplir con los requisitos exigidos en las disposiciones técnicas y legales que lo regulan, o aquel que es fabricado, ensamblado total o parcialmente en Colombia sin el respectivo registro sanitario o permiso de comercialización.

DEFINICIONES

Decreto 4725 del 2005

Gestión de Alertas Sanitarias

“Metodología de Vigilancia activa Internacional”

El Grupo de Tecnovigilancia del INVIMA realiza una búsqueda sistemática diaria de las Alertas y Recall emitidas por Organismos Reguladores y Sanitarios Internacionales de referencia, mediante el monitoreo de las páginas web, revisión de la información de seguridad publicada y si el dispositivo médico se comercializa en Colombia.

MONITOREO DE AGENCIAS SANITARIAS DE REFERENCIA

“El análisis y la intervención de riesgos asociados a la adquisición y el uso de la tecnología”

2016 2017*

Monitoreados en las

Agencias

Internacionales de

Referencia

Aplican a

Colombia

Monitoreados en las

Agencias

Internacionales de

Referencia

Aplican a

Colombia

Alertas (A) 36 28 (78%) 20 18 (90%)

Informes de Seguridad

(I) 235 192 (82%) 156 131 (84%)

Retiro del Producto del

Mercado- Recall (R) 103 88 (85%) 93 85 (91%)

TOTAL GENERAL 374 308 269 234

Total Alertas, Informes de

Seguridad y Recall

Cerrados 219

71% cerrados

101 43%

cerrados

RESULTADOS GESTIÓN DE ALERTAS

*Fuente: Base de datos de RISARH del Programa Nacional de Tecnovigilancia. 10 de Octubre de 2017.

PUBLICACIÓN DE HURTOS DE DISPOSITIVOS MÉDICOS

Año 2015 2015 2017*

Total Hurtos de DM Notificados por los

actores del Programa* 68 82 62

*Fuente: Base de datos de RISARH del Programa Nacional de Tecnovigilancia. Reporte de Hurtos 2011 a 8 agosto 2014 - POA

Decreto 2078 de 2012. Por el cual se establece la estructura del INVIMA y se determinan las funciones de sus dependencias. Articulo 23°. Dirección de Operaciones Sanitarias .Participar activamente, a través de las unidades de reacción inmediata del INVIMA, en los grupos interinstitucionales de control a la ilegalidad que se conformen al interior del Estado para adelantar las acciones de inspección, vigilancia y control, en materia de competencia del Instituto. * Fuente: Base de datos de RISARH del Programa Nacional de Tecnovigilancia. Octubre 10 de 2017. ** Política de Cumplimiento y Ética. INVIMA. Diciembre 2013

Hurtos de DM notificados al

Programa de Tecnovigilancia

URI

Unidad de Reacción Inmediata Contra:

La ilegalidad El contrabando

«REACCIONAR

GARANTIZANDO LA

PROTECCIÓN»**

Línea Anticorrupción (1) 2948700 extensión 3606 [email protected]

«El objetivo de este reporte, es conocer de manera directa la información relacionada con la Seguridad y Desempeño

del Dispositivo Médico, ingresando datos relevantes, como la trazabilidad, los potenciales riesgos y las acciones correctivas y preventivas iniciadas»

(Reporte de Informe de Seguridad, Alerta, Retiro Producto del Mercado o Hurto)

Alerta: Sospecha de una situación de riesgo potencial asociada a la utilización de un Dispositivo Médico o Equipo Biomédico, que pueda afectar la salud de la población o pueda tener trascendencia social, frente a la cual se hace necesario el desarrollo de acciones de Salud Pública urgentes y eficaces. Informe de Seguridad: Información tendiente a prevenir la ocurrencia de un evento adverso asociado al uso de un Dispositivo Médico o Equipo Biomédico. Recall: Retiro definitivo de un Dispositivo Médico o Equipo Biomédico, como consecuencia de una acción preventiva o correctiva del fabricante. Hurtos: Notificación del robo de Dispositivos Médicos o Equipos Biomédicos en el territorio nacional, con el fin de recomendar abstenerse de adquirirlos, y solicitar información relacionada acerca de la ubicación de los Dispositivos o Equipos involucrados en el Hurto.

FORMATO RISARH

Decreto 4725 de 2005. • Artículo 64. “Responsabilidad. Los titulares, fabricantes, importadores y comercializadores, o quien tenga dispositivos médicos, serán responsables de la

veracidad de la información que le suministren tanto al público en general como a las entidades de control, así como del cumplimiento de las normas sanitarias…”

ESTADOS DEL CASO: ABIERTO: Se encuentra en su fase inicial, el importador esta notificado y se encuentra pendiente por respuesta. SEGUIMIENTO: Se obtiene respuesta por parte del importador, sí existen dispositivos médicos afectados por el RISARH, la trazabilidad de los mismos y las acciones de campo a tomar. CERRADO: Se logra evidenciar las notificaciones a los clientes que han adquirido los dispositivos médicos afectados, las acciones implementadas y sus resultados, se adjunta toda la documentación pertinente que permita cerrar el caso.

GESTIÓN DEL CASO

Resolución 4816 de 2008 Artículo 7

. Relacionado con la Gestión de informes de seguridad, alertas internacionales y reportes por parte del INVIMA. Artículos 26

y 29

, Desarrollo de las investigaciones desprendidas de una Alerta por parte de los fabricantes o importadores, así como de su correspondiente seguimiento por parte del INVIMA, como parte del monitoreo, gestión y cierre que se realizan a las Alertas Internacionales que tienen relación con los productos que se comercializan en el país.

COMUNICACIÓN DEL RIESGO

https://www.invima.gov.co/gesti%C3%B3n-de-informes-de-seguridad-

alertas-recalls-e-hurtos-risarh

“La publicación web constituye una herramienta para el análisis de incorporación de nuevas tecnologías a través de la información publicada disponible”

• Esquema de Publicación en la página Web

Facilidad de búsqueda por palabra. Históricos anuales en un único archivo PDF. Mejor organización de la información disponible. Monitoreo constante del estado del caso.

COMUNICACIÓN DEL RIESGO

COMUNICACIÓN DEL RIESGO

“La información a usuarios

sobre riesgos de la tecnología y

su participación en la

prevención de los riesgos

asociados a su alcance”

CIERRE DEL CASO

Una vez allegada por parte del fabricante o importador autorizado la respuesta a los requerimientos con los Planes de acción implementados y la causa asociada a la Alerta, Recall o Informe de Seguridad, entre ellas la notificación a las Instituciones Hospitalarias afectadas, el Grupo de Tecnovigilancia procede a dar Cierre al caso Salvedad: En algunas situaciones el dispositivo médico es comercializado en el país, pero los importadores y/o fabricantes mediante la trazabilidad del producto determinan que las referencias y/o lotes mencionados en el RISARH NO APLICAN para el país. En este caso se procede a dar cierre al caso.

“La difusión de información a los colaboradores sobre la seguridad del uso de la tecnología y de la prevención de los principales riegos asociados al uso”

Los resultados obtenidos se reflejan al interior de las Instituciones Prestadoras de Servicios De Salud en la ejecución de las acciones de campo impartidas por los fabricantes por parte de los importadores, dentro de las cuales se pueden destacar:

Actualizaciones de Software. Modificación y perfeccionamiento de las instrucciones de uso. Implementación y ejecución de capacitaciones al personal

correspondiente sobre uso y utilización adecuada de la tecnología.

Notificaciones de seguridad dirigidas a usuarios y pacientes. Renovación tecnológica. Aumento en la calidad de atención de pacientes por el retiro de

dispositivos médicos inseguros. La notificación de Alertas constituye evidencia de seguridad de

la tecnología. La gestión de Alertas Sanitarias es parte integral del proceso de

mejoramiento de los programas institucionales de tecnovigilancia.

IMPACTO DE LA GESTIÓN DE ALERTAS - Invima

“La gestión de Alertas Sanitarias contribuye en la monitorización, control y seguridad de la tecnología”

PANORAMA DE RISARH A PARTIR DE IVC

Se evidencia importaciones con CCAA VENCIDO

• Cual seria su actuar??

• El producto se considera Alterado o Fraudulento?

• Hay existencias del producto, fue importado antes del vencimiento.

• Hay existencias del producto, fue importado después del vencimiento. • Se aplicaría medida sanitaria? Cual?

• Si el producto importado después del vencimiento ya fue comercializado. • Ordenarían Recall al importador del producto comercializado?

• Que destinación final se podría dar al producto retirado por el importador?

PANORAMA DE RISARH A PARTIR DE IVC

El dispositivo médico fue liberado por el Director técnico, sin certificados de calidad.

• Cual seria su actuar??

• El producto es Alterado o Fraudulento

• Hay existencias del producto liberado. • Se aplicaría medida sanitaria? Cual?

• Si el producto liberado ya fue comercializado. • Ordenarían Recall al importador del producto comercializado?

• Que destinación final se podría dar al producto retirado por el importador?

PANORAMA DE RISARH A PARTIR DE IVC

El dispositivo médico no fue liberado por el Director técnico, se dio poder a un tercero.

• Cual seria su actuar??

• El producto es Alterado o Fraudulento

• Hay existencias del producto liberado. • Se aplicaría medida sanitaria? Cual?

• Si el producto liberado ya fue comercializado. • Ordenarían Recall al importador del producto comercializado?

• Que destinación final se podría dar al producto retirado por el importador?

PANORAMA DE RISARH A PARTIR DE IVC

El Producto que se está importando proviene de un fabricante diferente al autorizado en el registro sanitario.

• Cual seria su actuar??

• El producto se considera Alterado o Fraudulento?

• Hay existencias del producto importado • Se aplicaría medida sanitaria? Cual?

• Si el producto importado ya fue comercializado. • Ordenarían Recall al importador del producto comercializado?

• Que destinación final se podría dar al producto retirado por el importador?

PANORAMA DE RISARH A PARTIR DE IVC

El Producto se está Comercialización en una presentación comercial diferente a la autorizada en el registro sanitario.

• Cual seria su actuar??

• El producto se considera Alterado o Fraudulento?

• Hay existencias del producto importado • Se aplicaría medida sanitaria? Cual?

• Si el producto importado ya fue comercializado. • Ordenarían Recall al importador del producto comercializado?

• Que destinación final se podría dar al producto retirado por el importador?

PANORAMA DE RISARH A PARTIR DE IVC

Solicitan trazabilidad de una importación, pero no es presentada pues el operador logístico no la realizo.

• Cual seria su actuar??

• El producto se considera Alterado o Fraudulento?

• Hay existencias del producto importado • Se aplicaría medida sanitaria? Cual?

• Si el producto importado ya fue comercializado. • Ordenarían Recall al importador del producto comercializado?

• Que destinación final se podría dar al producto retirado por el importador?

PANORAMA DE RISARH A PARTIR DE IVC

Solicitan trazabilidad de una importación, pero manifiestan que el vehículo de transporte fue asaltado antes de entregar al cliente.

• Cual seria su actuar??

• Mediante que formato se debe reportar al Invima?

LECCIONES APRENDIDAS DE RISARH

LECCIONES APRENDIDAS DE RISARH

• Continuar con la sensibilización sobre la cultura del reporte por parte de los pequeños y medianos importadores, así como de los fabricantes nacionales.

• La responsabilidad de ejecución de los planes de acción generados por el fabricante deben ser ejecutados en su totalidad por los importadores y recibidos a satisfacción por el Prestador y/o paciente.

• La trazabilidad de los dispositivos médicos juega un papel fundamental en el cierre exitoso de Alertas, Informes de Seguridad y Recall.

LECCIONES APRENDIDAS DE RISARH

• La comunicación del riesgo por medio de los diferentes canales dispuestos por el Instituto ha permitido a los ciudadanos en tomar decisiones de manera informada.

• Se pueden desprender acciones de IVC por parte del instituto de acuerdo a la conclusión de la investigación, lo cual es permitido gracias a los niveles de operación del PNTV y los actores involucrados.

• La robustez del PNTV, también ha permitido la gestión del riesgo frente a DM fraudulentos o falsificados.

• En caso de ordenar un Recall informarlo al grupo de Tecnovigilancia, junto con copia del acta.

Gracias…

SU APORTE ES FUNDAMENTAL

PARA FORTALECER EL PROGRAMA NACIONAL DE

TECNOVIGILANCIA

www.invima.gov.co

Carrera 10 No. 64 - 28

Bogotá, D.C. Colombia.

[email protected]