Metamétricas

Un enfoque PRAGMÁTICO

de métricas de administración de seguridad informática

Nov 2013

Krag Brotby / Gary Hinson(Traducción E.Fdez.T.)

Presentado por: Ing. Gabriel Álvarez Solis

Lámina 3

¿Por qué métricas?

Lámina 4

“El juicio de un hombre no puedeser mejor que la información sobre

la que se ha basado..”

Arthur Hays Sulzberger, 1947

¿Por qué métricas?

• Tenga en cuenta que

• medimos para administrar

• y ---

• ---- Necesitamos :

• Métricas estratégicas – para navegar

• Métricas administrativas – para administrar

• Métricas operacionales – para operar

Lámina5

¿ Para quién son las métricas?

Lámina6

CEO

CISO

Information Security

¿Para quién son las métricas?

Lámina 7

CEO

CISOCIO

ITInformation

Security

Las métricas …

• Estratégicas son para los gerentes para saber si el programa va o no en sucurso

•

• Administrativas, para la administración del programa día a día•

• Operacionales, para asegurarse de que la maquinaria está funcionandoadecuadamente

Lámina8

Métricas de seguridad de TI

Lámina 9

¿Para quién son las métricas?

Lámina 10

CEO

CISOVP

MarketingCIOVP

ProductionCFO

Finance ITInformation

SecuritySales

Toronto factory

C-s

uite

Bu

sin

ess

un

its

Perth factory

¿Para quién son las métricas?

Lámina 11

CEO

CISOVP

MarketingCIOVP

ProductionCFO

Finance ITInformation

SecuritySales

Toronto factory

Owners, stockholders

Authorities, industry regulators

Local communities & society at large

Customers, suppliers, business

partners

Sta

ke

ho

lde

rs

C-s

uite

Bu

sin

ess

un

its

Perth factory

Lámina 12

Audiencias de Métricas

Security

metrics

audiences

External

stakeholders

Senior management,

C-suite, Board

Operations

Peers

Middle/junior

management

For operational reasons e.g. to

configure & manage security controls

For information security

management & process

improvement

Regulators & authorities – for

reassurance & compliance

For benchmarking comparison

& sharing good practices

Customers, local communities &

Society at large – for reassurance

Owners – for reassurance

For strategic purposes,

governance & assurance

ISO27k

Lámina 13

ISO/IEC

27002

4. R

isk

man

agem

ent

5. Polic

y

6. Organization

7. Asset

management

8. HR security

9. Physical &

environmental10

. Com

ms

&

Ops

man

agem

ent

11. Access

control

12. Software

development

13. Incident

management

14. Business

continuity

15. Compliance

Inventory

Classification

Ownership

Joiners

Leavers

Physic

alNet

work

Syste

ms

Applic

atio

nsFun

ctio

nsDat

a

Awareness,

training &

education

Movers

Principles & axioms

Policies

Standards

Guidelines &

procedures

Specify security

Design

Develop

or acquire

Test

Implement

Maintain

& support

Risk

asse

ssm

ent

Risk a

nalys

isRisk

mitig

atio

n

Structure

Reporting

Liaison

Physical access

Power

Air conditioning

Fire & flood

Resilience

Disaster recovery

Backu

ps

Archi

ves

Config

s

Mon

itorin

g

Logg

ing

& ale

rting

Patch

ing

Prepare

Identify

React

Manage

& contain

Resolve

Learn

AuditPolicies

Laws &

regulations

3 rd parties

Contingency

Lámina 14

Objetivos y resultados

Metrics

Actions and

Decisions

Business outcomes (market share,

profit etc.)

time and uncertainty

Information security goals

(reduce incidents,

increase assurance)

Figura adaptada de Hauser and Katz Metrics: You Are What You Measure www.mit.edu/~hauser/Papers/Hauser-Katz Measure 04-98.pdf

GQMGoal-Question-MetricObjetivo-Pregunta-Métrica

Lámina15

Maintain Acme’s

price premium

Push into new markets

Protect

Acme’s IP

Maximize valueof the distribution, service & support

outlets

Goals Objetivos

GQM

Lámina16

Maintain Acme’s

price premium

Push into new markets

Protect

Acme’s IP

Maximize valueof the distribution, service & support

outlets

What does ‘Protect Acme’s

IP’ actually mean?

What IP is Acme’s, in fact?

Protect Acme’s IP from what?

Protect which IP?

How should Acme’s IP be protected?

Why protect Acme’s IP?

Goals Questions

Objetivos Preguntas

GQM

Lámina 17

Maintain Acme’s

price premium

Push into new markets

Protect

Acme’s IP

Maximize valueof the distribution, service & support

outlets

What does ‘Protect Acme’s

IP’ actually mean?

What IP is Acme’s, in fact?

Protect Acme’s IP from what?

Protect which IP?

How should Acme’s IP be protected?

Why protect Acme’s IP?

Relative value of

different forms of IP

Most-Least important factors

determining the value of IP

IP investments

Comparative IP valuations

Goals Questions MetricsPreguntas MétricasObjetivos

Lámina18

Media docena de señales …

“Cada Oficial de Seguridad (CSO) debetener media docena de señales qué vigilar

en forma regular. Estos indicadores puedenser “métricas de supervivencia,” los

botones rojos en un tablero del que se espera usted se haga cargo, el cual

monitorea el bienestar de su organización, o un problema que preocupa a la gerencia.”

George K. Campbell

Metamétricas

Lámina19

Malware detectado

Reseteo de passwords

Logons fallidos

Sistemas sin parches

Paquetescaidos

Vulnerabilidadesidentificadas

Métricas Inteligentes(SMART)

Lámina20

Tabla de WikipediaSMART atribuida a Paul J. Meyer

Específicas, Medibles, Alcanzables, Relevantes, Oportunas, Evaluar, Reevaluar

PRAGMATIC

Lámina 21

M e

t a

m e

t r

i c

s

Predictive – forward-looking

Relevant – to the business and infosec

Actionable – controllable, do-able

Genuine – can’t be faked or falsified

Meaningful – to the audience

Accurate – enough to be useful

Timely – here and now

Independent – hence verifiable

Cheap – always a bonus!

Predictive – forward-looking

Relevant – to the business and infosec

Actionable – controllable, do-able

Genuine – can’t be faked or falsified

Meaningful – to the audience

Accurate – enough to be useful

Timely – here and now

Independent – hence verifiable

Cheap – always a bonus!

PRAGMATIC

Lámina 22

M e

t a

m e

t r

i c

s

Predictiva – Ayuda a manejarsituaciones, tomar decisiones y mejorar las cosas para el futuro

Relevante – Para el especialista en materia, ya sea de seguridad de información, gobierno, riesgo, cumplimento o control entre otros

Accionable – Proporciona informaciónpara poder tomar acciones

Genuina – Los números resultantesestán basados en los hechos y no pueden ser fácilmente manipuladosdeliberadamente

PRAGMATIC

Lámina 23

M e

t a

m e

t r

i c

s

Meaningful/Significativa – Para la audiencia a la que va dirigida, sin crear incertidumbre o excepticismo

Accurate/Precisa – Real y precisa para permitircontrol mesurado? proporcional (nosdetenemos? O seguimos avanzando? Más rápido, o lento?

Timely/Oportuna – Obtenga la información en el momento en que se requiere para la toma de decisiones

Independiente – Medida objetiva, basándose en evidencia que pueda ser verificable; y

Costo-efectiva/Económica – Genera más valorque lo que cuesta el recopilar, analizar, presentary utilizar la métrica

Ejemplo de mapa de calor

Lámina 24

Manufacturing operations

Manufacturing operations

Packaging and dispatchGoods in

Packaging

and dispatch

Sales and marketing ▲

C-suite Finance HR R&D

IT

Procurement

Toronto factory Perth factory

QC

Legal & compliance

Risk

Infosec

HQ

Glo

ba

l dis

tribu

tion

, se

rvic

e a

nd

su

pp

ort

Supplier

relations

Goods in

QC

Un análisis de profundidad

Lámina25

Ventas y Mercadotecnia estatus de infosec, May 2012:

69% Risk management

79% Policy ▲

61% Organization

44% Asset management

20% HR security

31% Physical & environmental

58% Comms & ops management

58% Access control ▲

69% Software development

73% Incident management

10% Business continuity ▼

39% Compliance

51% OVERALL

El clásico CMM

Lámina26

Calificando escalas

Lámina 27

Calificación Pragmática

Lámina 28

Calificando un mapa de calor

Lámina 29

Un catálogo de métricas

Lámina 30

Lámina31

Metamétricas avanzadas

• So-pesando el criterioPRAGMÁTICO

• Compilando, graduando, compartiendo y comparandocatálogos de métricas

• Medidas creativas: más por menos• Sistema de métricas de seguridad

de Información• Medir cualquier cosa

Lámina 32

Lámina 33

Lámina 34

Lámina 35

Únase a la discusión

Gracias por su atención

Lámina 36

Contacto en México: Innovative-SoftIng. Gabriel Álvarez Solisgas@innovative-soft.com

Tel. 044-55-3018-5456

Contacto con el autor:Krag Brotby

kragby@gmail.com