Aitor Arnaiz, Roberto González | San Sebastian | Marzo 2019

© IK4-TEKNIKER 2017


Aitor Arnaiz, Roberto González | San Sebastian | Marzo 2019

Arquitecturas eficientes para la gestión de Datos


IK4-TEKNIKER, I+D con especial

dedicación a fabricación y procesos

INTRODUCCIÓN

GENERAL INTRODUCTION

278 personas

24M€

REVENUE IN 2017

AREA TICS,

4 Unidades, 100 personas

AUT

SAI SII

ELE

Automática

y Control

Sistemas

Autónomos

Inteligentes

Sistemas de

Información

Inteligentes

Electrónica y

comunicaciones

https://issuu.com/ik4-tekniker/docs/pre_ik4-tekniker_2015_en

https://issuu.com/ik4-tekniker/docs/pre_ik4-tekniker_2015_en


SII - Sistemas de Información

Inteligentes

INTRODUCCIÓN

24 Personas

7 PhD

2M€ (2017)

Salud/Alimen.

Infraestructuras

Mantenimiento

Fabricación

Inteligencia

Competitiva

Analítica Prescriptiva

Semántica / HMI

Ensayos/

Bancos

Especialización


SII - Sistemas de Información

Inteligentes

INTRODUCCIÓN

Salud/Alimen.

Infraestructuras

Mantenimiento

Fabricación

Inteligencia

Competitiva

Analítica PrescriptivaEnsayos/

Bancos

Especialización

Semántica / HMI

Soporte cloud a IoT

24 Personas

7 PhD

2M€ (2017)

Traditionalsoftware Traditional

research

Machine Learning

Data Science


• Condicionantes y características de las plataformas

• Plataforma SAM para mantenimiento predictivo

• Esquema de diseño genérico (Arquitectura de referencia)

• Despliegue para su uso por la empresa Atten2

• Otras plataformas

INTRODUCCIÓN - OBJETIVOS


Soporte ‘cloud’ a IoT

1) Soporte a datos de

monitorización / IoT (condición,

proceso, infraestuctura)

1) Soporte a datos de monitorización / IoT

• No son datos de RRSS, no son datos de búsquedas en

Internet

• Datos IoT baja complejidad alta periodicidad

(temperaturas, corrientes, vibraciones)

• Datos IoT complejos (espectro IR, imagen/video de un

lubricante)

• Datos Operación – normalmente asociados a sistemas

SCADAS/MES/MOM/GMAO/…

• Datos ‘Fingerprint’ – conjuntos de datos combinados

tomados periódicamente para identificar condición

• Pocos, Pasivos

SOPORTE CLOUD A IOT – CARACTERÍSTICAS



hh





2) Diferentes tipos de plataformas


• Plataformas ‘privadas’ (e.g. gestión de planta)

• Nube ‘privada’ (e.g. servicios a clientes)

• Nube ‘compartida’ (e.g. cadena de suministro)

confianza

rapidez








3) Otros

3) Otros

• Objetivo de la plataforma – Exploración vs. explotación

• Privacidad

• Conectividad (archivos, OPC-UA, MQTT, ..)

• Interoperabilidad – sistemas ya existentes

• Código abierto…


DATA EXPLOITATIONDATA SOURCES

DESARROLLO Y DESPLIEGUE DE PLATAFORMAS

Soporte cloud IoT

MACHINES


DATA EXPLOITATIONDATA SOURCES


Soporte cloud IoT

MACHINES

SAM - SMART ASSET MANAGEMENT



Soporte cloud IoT

DATA SOURCES


DATA EXPLOITATION

CRM

CORPORATE DATA

OTHER REPOSITORIES

ERP

TELEMETRY

ADDITIONALINFORMATION

MACHINES

EDGEPROCESSING

SENSORSDEVICES

GATEWAYSSERVERS

PASSIVE SENDINGDATA SOURCES

ACTIVE SENDINGDATA SOURCES


MONITORING&

DECISION MAKING

DEVELOPMENT

CORPORATE KPIs

NEW KPIs& AGGREGATESDEVELOPMENT

ADVANZED INFORMATION PROCESSING

SELF-SERVICEBUSINESS

INTELLIGENCE

BUSINESS INTELLIGENCEDASHBOARDS

TIMES SERIESALERTS / WARNINGS

PREDICTIONS

MONITORINGDASHBOARDS

MACHINE LEARNING

DEVELOPMENT

& AGGREGATES

ENGINEERING

BUSINESS USER ENGINEERING

ADVANCED USER I+D USER

I+D USER

DATA EXPLOITATION


Soporte cloud IoT

DATA SOURCES


CRM

CORPORATE DATA

OTHER REPOSITORIES

ERP

TELEMETRY


MACHINES

EDGEPROCESSING

SENSORSDEVICES

GATEWAYSSERVERS




MONITORING&

DECISION MAKING

DEVELOPMENT

CORPORATE KPIs




INTELLIGENCE



PREDICTIONS


MACHINE LEARNING

DEVELOPMENT

& AGGREGATES

ENGINEERING



I+D USER

DATA EXPLOITATION


Soporte cloud IoT

DATA SOURCES

• ARQUITECTURA LAMBDA• ALMACENAMIENTO ORIENTADO A

RESULTADOS• ESTRUCTURA EN 3 CAPAS

CRM

CORPORATE DATA

OTHER REPOSITORIES

ERP

TELEMETRY


MACHINES

EDGEPROCESSING

SENSORSDEVICES

GATEWAYSSERVERS





SPEEDLAYER

BATCH LAYER SERVING

LAYER

QUERIESNEW DATA

REALTIMEVIEWS

BATCHVIEWS

Batch layerLong-running, heavy processingagainst the entire master dataset

Speed layerFast, lightweight processingagainst the most recent data

Serving layerViews ready to be queried

SAM – ARQUITECTURA LAMBDA


Serving Layer - Different

Storage for Different

Exploitation

DATA WAREHOUSE

TIME SERIES DATABASE

FILE REPOSITORY

DATA STORAGE

DATA WAREHOUSE

RELATIONALDATABASE

DATA WAREHOUSE

FILE REPOSITORY

MONITORINGAND

DECISION MAKING

DEVELOPMENT

CORPORATE KPIs




INTELLIGENCE



PREDICTIONS


MACHINE LEARNING

DEVELOPMENT

& AGGREGATES

OPERATOR



I+D USER

DATA EXPLOITATION

Data is stored redundantlyon different repository types

Different ways toexploit information

There is an appropriatestorage type for anspecific data exploitation

SAM – ALMACENAMIENTO ORIENTADO A RESULTADOS


MONITORINGAND

DECISION MAKING

DEVELOPMENT

SAM - Arquitectura

MESSAGE BROKER

CRM

CORPORATE DATA

OTHER REPOSITORIES

CORPORATE KPIs




INTELLIGENCE



PREDICTIONS


MACHINE LEARNING

DEVELOPMENT

COMPLEXEVENT

PROCESSING

REAL TIMEMACHINELEARNING

ERP

& AGGREGATES

ENGINEERING



I+D USER

DATA STORAGE DATA ACQUISITION DATA PROCESSING DATA EXPLOITATIONDATA SOURCES

TELEMETRY


FILE REPOSITORY

DATA WAREHOUSE

TIME SERIESDATABASE

RELATIONALDATABASE

MACHINES

EDGEPROCESSING

SENSORSDEVICES

GATEWAYSSERVERS



SCHEDULEDTASK

SCHEDULEDTASK

BATCHPROCESSING

MACHINE LEARNINGON-THE-FLY ANALYSIS

ON-THE-FLY RULESEVENT INTEGRATION

DATA SOURCE READER

DATA SOURCE READER

BATCH PROCESSES

METADATA /ALERTS AND WARNINGS

SERIALIZED DATA FILES

TIME SERIES DATA

AGGREGATED DATA


MONITORINGAND

DECISION MAKING

DEVELOPMENT

SAM – tecnologías de implementación

CRM

CORPORATE DATA

OTHER REPOSITORIES

ERP

DATA STORAGE DATA ACQUISITION DATA EXPLOITATIONDATA SOURCES

TELEMETRY


AZURE EVENT HUBAZURE IOT HUB

AZUREWEB JOB

AZUREWEB JOB

AZURE STREAM ANALYTICS

AZUREMACHINE LEARNING

AZURE DATA LAKE ANALYTICS

AZURE BLOB STORAGE

AZURESQL DATABASE

AZURESQL DATABASE

BUSINESS INTELLIGENCE / REALTIME DASHBOARDS

SELF-SERVICE BUSINESS INTELLIGENCE

MACHINE LEARNING DEVELOPMENT

AZURE WEB APPS

DATA PROCESSING

AZURE TIMESERIES INSIGHTS

MACHINES

EDGEPROCESSING

AZUREWEB JOB

AZURE MLR MARKDOWN

SENSORSDEVICES

GATEWAYSSERVERS



http://www.google.es/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwil9Pmm4JHPAhVFXRQKHUxUBVkQjRwIBw&url=http://blog.sysfore.com/the-a-z-of-microsoft-azure-services/&psig=AFQjCNG0csR9Tc5WGAemxBzaPEYdsCmZ9A&ust=1474041947456712



Atten2 - Sensores ópticos para la monitorización de la condición

• Producto:

• Sistema óptico de monitorización de la salud del

aceite de componentes mecánicos

• Degradación, contaje, tipo y tamaño de partículas

• Multiplicadoras,


- Monitorización – evolución (vel. 8-15)

- Evolución y detección de estado-

- Predicción de la avería y generación de alertas -

Atten2 – Predicción de anomalías en sistemas sin fallo


Atten2 - Sensores ópticos para la monitorización de la condición

• Producto:

• Sistema óptico de monitorización de la salud del aceite de componentes mecánicos

• Degradación, contaje, tipo y tamaño de partículas

• Multiplicadoras,

• Necesidades plataforma:

• Integración de la información con datos de SCADA y envío para su tratamiento y combinación a plataforma de gestión.

• Combinación de los datos para entender el comportamiento de la generación de partículas durante la operación.

• Determinación de salud de los diferentes aerogeneradores

• Predicción de fallos de la multiplicadora en base a los datos del sensor


ASSET MANAGEMENTWEB PORTAL

REPORTING

SAM Platform - Atten2 Use Case

SAM PLATFORM BUSINESSINTELLIGENCE

TIME SERIES

ATTEN2SENSORS

SENSORFILES

AUTOMATEDUPLOADING

ALARMS

SCADAFILES

AUTOMATEDUPLOADING

WINDMILLS(SAMCA)

OFF-LINESENSOR

FILES

ATTEN2USER

MANUAL FILE UPLOADING

AD HOC QUERIES

REAL TIMESTREAM DATA


BIG DATA / DATA MINING / PREDICTIVE ANALYTICS /

Monitorización y predicción de averías-estado de salud

Flotas

Sistema

Componente

AEROGENERADORES


MONITORINGAND

DECISION MAKING

DEVELOPMENT


AZURE EVENT HUBAZURE IOT HUB

AZUREWEB JOB

AZUREWEB JOB

AZURE STREAM ANALYTICS

AZUREMACHINE LEARNING

AZURE DATA LAKE ANALYTICS

AZURE BLOB STORAGE

AZURESQL DATABASE

AZURESQL DATABASE

BUSINESS INTELLIGENCE / REALTIME DASHBOARDS



AZURE WEB APPS

DATA PROCESSING

AZURE TIMESERIES INSIGHTS

AZUREWEB JOB

AZURE MLR MARKDOWN

SAM – DESPLIEGUE EN ATTEN2

CRM

CORPORATE DATA

OTHER REPOSITORIES

ERP

TELEMETRY


MACHINES

EDGEPROCESSING

SENSORSDEVICES

GATEWAYSSERVERS






• Arquitectura de referencia - Punto de partida para

• Plantear pruebas de concepto

• Mantenimiento de flotas (e.g. sistemas freno-embrague)

• Plantear evoluciones

• De OpenTSDB a InfluxDB

• De Hive a Azure Data Lake Analytics

• Evolución on-premise

• Aprovechar parte del planteamiento para nuevas arquitecturas

SAM – SMART ASSET MANAGEMENT


MONITORING&

DECISION MAKING

ANALYSIS

Extended MES/MOM Platform - Architecture

MESSAGE BROKER BUSINESS INTELLIGENCE


PREDICTIONS

IOT PROCESSING FRAMEWORK

GATEWAYS(BLACKBOXES)

ENGINEERING USERBUSINESS USER


TELEMETRY


FILE REPOSITORY

OLAPDATABASECRM

(RPS)MES

(OLANET)

GMAO (ORMA)

IBERMATICA SOLUTIONS

MACHINE LEARNINGDATA MINING

TIME SERIESDATABASE

RELATIONALDATABASE

MONITORINGDASHBOARD

ANALYTICDATALAKE

I+D USER

MACHINETOOLS


MONITORING&

DECISION MAKING

ANALYSIS

Extended MES/MOM Platform - Implementation Technologies

ASP.NET MVC

ENGINEERING USERBUSINESS USER


TELEMETRY


CRM(RPS)

MES (OLANET)

GMAO (ORMA)

IBERMATICA SOLUTIONS

I+D USER

APACHE NIFI

SQL SERVER

SQL SERVER ANALYSIS SERVICES

LINUX FILE SYSTEM

INFLUXDBVERNE MQ

MACHINETOOLS

GATEWAYS(BLACKBOXES)


ARQUITECTURA DE EE – TECNOLOGIAS IMPLEMENTADAS

MONITORING

DEVELOPMENT

WeatherTiempo.com AEMET

PREDICTION

PASIVE DATASOURCES

MACHINES

SCADA TAC

SERVER

ACTIVE DATASOURCES

ENGINEERING

FACILITY MANAGER

I+D USER


Sensors


ESPER CEPMQTT BROKER

JAVA SERVICE

JAVA SERVICE

SQL DATABASE


MONITORING&

DECISION MAKING

DEVELOPMENT

TRAZABILIDAD Y ANALÍTICA EN CADENA ALIMENTARIA

SLAUGTERHOUSE

FARM Management

System


SENSORS

FIWARE CONTEXT BROKER NGSI



SENSOR

DEVICE

DB

DATA PROCESSING

FIWARE IOT AgentMOSQUITTO MQTT

FIWARE CYGNUSApache Flume Agent

SECURITY

APACHE TOMCATFILE STRUCTURE

FIWARE Key RockOpenstack Horizon

& Keystone

MONGODB DATABASE

FARM POULTRY MANIPULATION

FIWARE KNOWAGE

FARM TeknikerSensor:

Temp, hum, lum, nh3, co2

TRANSPORT

Tekniker Sensor:Temp, hum, lum,

nh3, co2

FIWARE PEP PROXY

FIWARE KNOWAGE

REALTIME DASHBOARDS

FIWARE KNOWAGER Serve

WEB

Analytics / DSS

POSTGRESQL DATABASE


Conclusiones

• El desarrollo de una arquitectura escalable de adquisición,

procesamiento y almacenamiento de los datos para su explotación

eficiente no es trivial

• La evolución constante de tecnologías revisión y actualización

constante de las tecnologías que soportan estas arquitecturas

• Con SAM - Esfuerzo por estructurar el diseño de plataformas en

torno a una arquitectura de referencia, y a unos conceptos clave

• Configuración en vez de desarrollo Es posible generar ‘pruebas de

concepto’ con un coste ‘reducido’ de despliegue y operación.



PARKE TEKNOLOGIKOA

C/ Iñaki Goenaga, 5

20600 EIBAR GIPUZKOA

SPAIN

www.tekniker.esContacto: Aitor Arnaiz

[email protected]

mailto:[email protected]

http://www.tekniker.es/en/oferta-tecnologica/aeroespacial http:/www.tekniker.es

http://www.tekniker.es/en/oferta-tecnologica/aeroespacial http:/www.tekniker.es

Aitor Arnaiz, Roberto González | San Sebastian | Marzo 2019

Documents

Transcript of Aitor Arnaiz, Roberto González | San Sebastian | Marzo 2019