Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones...

464

Transcript of Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones...

Page 1: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.
Page 2: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas noestán hechas por humanos, sino pormodelosmatemáticos. En teoría, esto deberíaconduciraunamayorequidad:todossonjuzgadosdeacuerdoconlasmismasreglas,sin sesgo. Pero en realidad, ocurre exactamente lo contrario. Los modelos que seutilizan en la actualidad sonopacos, no regulados e incontestables, incluso cuandoestánequivocados.Estoderivaenunrefuerzodeladiscriminación:siunestudiantepobre no puede obtener un préstamo porque un modelo de préstamo lo considerademasiadoarriesgado (envirtudde sucódigopostal), quedará excluidodel tipodeeducaciónquepodríasacarlode lapobreza,produciéndoseunaespiralviciosa.Losmodelosapuntalana losafortunadosycastigana losoprimidos:bienvenidoal ladooscurodelbigdata.

ONeilexponelosmodelosquedanformaanuestrofuturo,comoindividuosycomosociedad. Estas «armas de destrucción matemática» califican a maestros yestudiantes, ordenan currículos, conceden (o niegan) préstamos, evalúan a lostrabajadores, se dirigen a los votantes, fijan la libertad condicional y monitoreannuestrasalud.

www.lectulandia.com-Página2

Page 3: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

CathyO’Neil

ArmasdedestrucciónmatemáticaCómoelbigdataaumentaladesigualdadyamenazala

democracia

ePubr1.0orhi17.02.2019

www.lectulandia.com-Página3

Page 4: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Títulooriginal:WeaponsofMathDestruction:HowBigDataincreasesInequalityandThreatensDemocracyCathyO’Neil,2016Traducción:VioletaArranzdelaTorreEditordigital:orhiePubbaser2.0

www.lectulandia.com-Página4

Page 5: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Agradecimientos

Quiero dar las gracias a mi marido y a mis hijos por su increíbleapoyo.GraciastambiénaJohnJohnson,SteveWaldman,MakiInada,Becky Jaffe, Aaron Abrams, Julie Steele, Karen Burnes, MattLaMantia,MarthaPoon,LisaRadcliffe,LuisDanielyMelissaBilski.Y también gracias a las personas sin las que este libro no existiría:Laura Strausfeld, Amanda Cook, Emma Berry, Jordan Ellenberg,StephenBaker,JayMandel,SamKanson-BenanavyErnieDavis.

Estelibroestádedicadoatodoslosdesamparados

www.lectulandia.com-Página5

Page 6: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

CIntroducción

uandoerapequeña,solíaquedarmemirandoeltráficoatravésdelaventanilladel coche estudiando los números de las matrículas de los vehículos que

pasaban.Megustabareducircadamatrículaasuselementosbásicos—losnúmerosprimosquelacomponen—.45=3×3×5.Estosedenominafactorizaciónyeramipasatiempo de investigación favorito. Yo era una empollona de matemáticas enciernesysentíaunafascinaciónparticularporlosnúmerosprimos.

Miamorporlasmatemáticasacabóconvirtiéndoseenunaauténticapasión.Fuiauncampamentodematemáticascuandoteníacatorceañosyvolvíacasaagarrandocon fuerza un cubo de Rubik contra mi pecho. Las matemáticas me ofrecían unrefugioordenadofrentealdesordendelmundoreal.Avanzabanagrandespasosysuámbitodeconocimientoseampliabainexorablemente,pruebatrasprueba.Yyopodíacontribuir a su desarrollo. Me especialicé en matemáticas en la facultad y decidíestudiarundoctorado.Mitesisversabasobrelateoríadelosnúmerosalgebraicos,uncampocuyasraícesestabanprecisamenteenesafactorizaciónquemegustabahacercuando era niña.Con el tiempo, conseguí un trabajodeprofesora conopción a uncontratofijoenlauniversidaddeBarnardCollege,quecompartíaconlaUniversidaddeColumbiaeldepartamentodeMatemáticas.

Alcabodeuntiempo,decidícambiarradicalmentemicarreraprofesional.Dejémipuestoyempecéatrabajarcomoanalistacuantitativa(quanteninglés)paraD.E.Shaw, un destacado fondo de cobertura. Al dejar el mundo académico por lasfinanzas, llevé lasmatemáticasde la teoría abstracta a lapráctica.Lasoperacionesquehacíamosconnúmeros se traducíanenbillonesdedólaresquepasabandeunacuentaaotra.Alprincipioestabaentusiasmadayasombradaconlaideadetrabajaren este nuevo laboratorio, la economía mundial, pero en otoño de 2008, cuandollevabapocomásdeunañoenesemundo,todosedesplomó.

Lacrisisfinancieradejóbienclaroquelasmatemáticas,queunavezhabíansidomirefugio,nosoloestabanprofundamenteinvolucradasenlosproblemasdelmundo,sino que además agravaban muchos de ellos. La crisis inmobiliaria, la ruina degrandes entidades financieras, el aumento del desempleo: todo esto había sidoimpulsado e inducido por matemáticos que blandían fórmulas mágicas. Además,gracias a los extraordinarios poderes que tanto amaba, las matemáticas podíancombinarsecon la tecnologíaparamultiplicar el caosy ladesgracia, loqueañadíaeficaciaymagnitudaunossistemasqueentoncescomprendíqueerandefectuosos.

Sihubiéramosestado lúcidos,habríamosdadounpasoatrásenestepuntoparaanalizar cómo habíamos hecho un mal uso de las matemáticas y cómo podíamosevitarunacatástrofesimilarenelfuturo.Sinembargo,enlugardeeso,justodespuésde la crisis, las nuevas técnicasmatemáticas estabanmás demodaque nunca y se

www.lectulandia.com-Página6

Page 7: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

extendían a un creciente número de áreas. Funcionaban veinticuatro horas al díaprocesando petabytes de información, en gran parte datos extraídos de las redessocialesodepáginaswebdecomercio electrónico.Yen lugardeprestar cadavezmásatenciónalosmovimientosdelosmercadosfinancierosmundiales,sededicabancada vez más a analizar a los seres humanos, a nosotros. Los matemáticos y losespecialistas en estadísticas estudiaban nuestros deseos, nuestros movimientos ynuestropoderadquisitivo.Predecíannuestrasolvenciaycalculabannuestropotencialcomoestudiantes,trabajadores,amantesodelincuentes.

Esta era la economía del big data, y prometía ganancias espectaculares. Unprograma de ordenador era capaz de procesarmiles de currículos o solicitudes depréstamos en un par de segundos y clasificarlos en listas bien ordenadas, con loscandidatosmásprometedoressituadosen losprimerospuestos.Estosprogramasnosolo permitían ahorrar tiempo, sinoque además se anunciaban comoprocesosmásjustosyobjetivos.Alfinyalcabo,eranprocesosenlosquenohabíasereshumanos,con sus prejuicios, escarbando enmontones de papel, sino simplementemáquinasprocesando números de manera objetiva. En el año 2010 aproximadamente lasmatemáticas se habían impuesto como nunca antes en los asuntos humanos, y elpúblicoengeneralrecibióelcambioconlosbrazosabiertos.

Y, sin encargo, yo veía problemas en el horizonte. Estas aplicacionesfundamentadas en las matemáticas que alimentaban la economía de los datos sebasabanendecisionestomadasporsereshumanosquenoeraninfalibles.Seguroquealgunasdeesasdecisionessetomabanconlamejordelasintenciones,peromuchosde estos modelos programaban los prejuicios, las equivocaciones y los sesgoshumanos en unos sistemas informáticos que dirigían cada vezmás nuestras vidas.Cualesdioses,estosmodelosmatemáticoseranopacosysusmecanismosresultabaninvisiblespara todos,salvoparalossumossacerdotesdelsector: losmatemáticosylos ingenieros informáticos. Sus veredictos, incluso cuando estaban equivocados oeranperjudiciales,eranindiscutibleseinapelablesysolíancastigaralospobresylosoprimidosdenuestrasociedad,altiempoqueenriquecíanalosricos.

Se me ocurrió un nombre para este tipo de modelos perniciosos: armas dedestrucciónmatemática o ADM.Veamos un ejemplo, en el que iré señalando suscaracterísticasdestructivaspocoapoco.

Como ocurre amenudo, este caso empezó con un objetivó loable. En 2007, elnuevo alcalde de Washington D. Q, Adrian Fenty, estaba decidido a corregir lasituacióndelasescuelasdeficientesdelaciudad.Teníaungrandesafíopordelante:enesemomento,apenasunodecadadosalumnosdeinstitutollegabaalagraduacióndespuésdelnovenocurso[1](elequivalenteatercerodesecundaria)ysoloun8%delosalumnosdeoctavocurso[2](elequivalenteasegundodesecundaria)teníaunniveldematemáticasacordeasucurso.FentycontratóalaexpertaenreformaseducativasMichelle Rhee para que ocupara un importante puesto de nueva creación: seríanombradarectoradeloscentroseducativosdeprimariaysecundariadeWashington.

www.lectulandia.com-Página7

Page 8: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Lateoríageneralmenteaceptadaeraque losalumnosnoaprendían losuficienteporque sus profesores no trabajaban bien. De modo que, en 2009,Michelle Rheepusoenmarchaunplanparaextirpardelsistemaalosdocentesdebajorendimiento.Estaeralatendenciageneralizadaenlosdistritosescolaresconproblemasentodoelpaísy,desdeelpuntodevistadela ingenieríadesistemas,esterazonamientotienemuchosentido.Hayqueevaluaralosprofesores,deshacersedelospeoresycolocaralosmejoresdondepuedanproducirelmayorefectopositivoposible.Enel lenguajede los científicos de datos, de este modo «se optimiza» el sistema escolar ypresuntamentesegarantizanmejoresresultadosparalosalumnos.Exceptuandoalos«malos»profesores,¿quiénpodríanoestardeacuerdoconesterazonamiento?Rheedesarrolló una herramienta de evaluación del personal docente[3] a la que llamóIMPACTy, a finalesdel curso académico2009-2010, el distrito escolardespidió atodoslosdocentescuyaspuntuacioneslossituabanenel2%inferior.[4]Afinalesdelsiguientecurso,echaronaotro5%,esdecira206maestrosyprofesores.[5]

NoparecíaqueSarahWysocki,unamaestradequintocurso[6](elequivalenteaquintodeprimaria),tuvieranadaporloquepreocuparse.Llevabatrabajandosolodosaños en el colegio MacFarland, pero el director del colegio y los padres de susalumnosteníanyaunaexcelenteopinióndeella.Enunaevaluaciónlaelogiabanporlo atenta que era con los niños;[7] en otra se decía que era «una de las mejoresmaestrasconlasquehetratadonunca».

No obstante, a finales del curso de 2010-2011, Wysocki sacó una penosapuntuación en su evaluación de IMPACT.[8] El problema fue un nuevo sistema depuntuaciónllamadomodelacióndevalorañadido,quepretendíamedirsueficaciaenlaenseñanzadecompetencias lingüísticasymatemáticas.Esapuntuación,generadaporunalgoritmo,representabalamitaddesuvaloraciónglobal,[9]yteníamáspesoquelasvaloracionespositivasdeloscargosdirectivosdelcolegioydelacomunidad.Demodoqueeldistritoescolarnotuvomásremedioquedespedirla,juntoconotros205 docentes que habían tenido puntuaciones de IMPACT por debajo del umbralmínimo.

Noparecíatratarsedeunacazadebrujasnideunajustedecuentas.Dehecho,elenfoquedeldistritoescolarteníalógica.Alfinyalcabo,loscargosdirectivosdeloscentroseducativospodíanseramigosdepersonasquehicieranmuymalsutrabajo,oquizá admiraran su estilo o su aparente dedicación. Los malos docentes puedenparecer buenos. Por lo tanto, el distrito deWashington, al igual que otrosmuchossistemas escolares, decidió que debía minimizar este sesgo humano y prestar másatención a las puntuaciones basadas en resultados irrefutables: las puntuaciones derendimientodelosalumnosenmatemáticasylectura.Losnúmeroshablaríanaltoyclaro,prometieronlosfuncionariosdeldistritoescolar.Seríanmásjustos.

Obviamente,SarahWysockipensóquelosnúmeroseranterriblementeinjustosyquisosaberdedóndevenían.«Nocreoquenadie losentendiera»,medijodespués.

www.lectulandia.com-Página8

Page 9: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

¿Cómo podía una buena maestra sacar tan malas puntuaciones? ¿Qué medíaexactamenteelmodelodevalorañadido?

Según descubrió SarahWysocki, la respuesta era muy complicada. El distritohabía contratado a una consultora con sede en Princeton, Mathematica PolicyResearch, para que creara el sistema de evaluación.[10]Mathematica se enfrentó alreto de medir el progreso educativo de los alumnos del distrito y a continuacióncalcular qué parte de ese progreso o retroceso podía atribuirse a sus maestros yprofesores.Evidentemente,nofuetareafácil.Losinvestigadoressabíanquemuchasvariables diferentes, desde el contexto socioeconómico de los alumnos hasta lasdificultades de aprendizaje, podían afectar a los resultados de los alumnos. Losalgoritmos teníanque tener en cuenta dichasdiferencias, lo que explicaba enparteporquéerantancomplejos.

Efectivamente,intentarreducirelcomportamiento,elrendimientoyelpotencialhumanos a algoritmos no es tarea fácil. Para comprender lo que intentaba evaluarMathematica,imaginemosaunaniñadediezañosdeunbarriopobredelsurestedeWashingtonD.C.Alfinaldeuncursoescolar,hacelapruebahomologadadequintocurso.Yluegolavidasigue.Puedequehayaproblemasensufamiliaoquetengandificultadeseconómicas.Quizásemudenaunanuevacasaoalaniñalepreocupenlosproblemasquetienesuhermanomayorconlaley.Talvezestédescontentaconsupeso,oquizáestéasustadaporquelaacosanenelcolegio.Paseloquepase,alfinaldel curso siguiente hace otra prueba homologada, la prueba diseñada para losalumnosdesextocurso.

Alcompararlosresultadosdeambaspruebas,lapuntuacióndeberíamantenerseestable o, con suerte, subir.Mientras que si sus resultados caen en picado, resultafácil calcular la diferencia entre su rendimiento y el de los alumnos con buenosresultados.

Pero ¿qué parte de esa diferencia es responsabilidad de su maestra? Es difícilsaberlo,ylosmodelosdeMathematicasolopuedencompararunascuantascifras.Enempresas de big data como Google, por el contrario, los investigadores estánconstantementehaciendopruebasycontrolanmilesdevariables.Puedenpreparardosversiones de un mismo anuncio —una con las letras en azul y otra en rojo—,presentar cada una de estas versiones a diez millones de personas y hacer unseguimiento para saber cuál de las dos recibe más clics. Utilizan estaretroalimentación para pulir sus algoritmos y ajustar su funcionamiento. Aunqueconsidero que Google presenta muchos problemas, como veremos más tarde, esciertoqueenestetipodepruebashaceunusoefectivodelasestadísticas.

Intentarcalcularelimpactoqueunapersonapuedetenersobreotraalolargodeuncursoescolaresunprocesomuchomáscomplejo,«Haytantosfactoresimplicadosen la enseñanza y en el aprendizaje que sería muy difícil medirlos todos», decíaSarah.[11] Por otra parte, intentar puntuar la eficacia de un docente analizando losresultados de una prueba de solo veinticinco o treinta alumnos no tiene solidez

www.lectulandia.com-Página9

Page 10: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

estadísticayes incluso ridículo.Elnúmerodevaloreses insuficientesi se tieneencuentatodoloquepuedefallar.Dehecho,siquisiéramosanalizaralosdocentesconel rigor estadístico de unmotor de búsqueda, tendríamosqueprobarlos enmiles oinclusomillonesdealumnosseleccionadosalazar.Losestadísticosutilizangrandescifrasparacompensar lasexcepcionesy lasanomalías (y lasADM,comoveremosmásadelante,amenudocastiganapersonasconcretasqueresultanserlaexcepción).

Otroaspectoigualmenteimportanteesquelossistemasestadísticosrequierenunaretroalimentación,algoque les indiquecuándoseestándesviando.Losestadísticosutilizan los errores para enseñar a sus modelos y hacerlos más inteligentes. SiAmazon.comemplearauna correlacióndefectuosay empezara a recomendar librossobreelcuidadodelcéspedachicasadolescentes,elnúmerodeclicscaeríaenpicadoy la empresa se aseguraría de corregir el algoritmo hasta que funcionara bien. Sinembargo, si no se tiene en cuenta la retroalimentación, unmotor estadístico puedeseguir realizando análisis defectuosos y perjudiciales sin aprender nunca de suserrores.

MuchasdelasADMdelasquehablaréenestelibro,incluidoelmodelodevalorañadido del distrito escolar de Washington, se comportan así. Definen su propiarealidad y la utilizan para justificar sus resultados. Este tipo de modelo seautoperpetúayesaltamentedestructivo—yademásestámuyextendido—.

CuandoelsistemadepuntuacióndeMathematicaetiquetóaSarahWysockiyaotros 205 docentes como malos enseñando, el distrito escolar los despidió. Pero¿cómopuedeconfirmarelsistemaquesuanálisisfuecorrecto?Nopuede,Elsistemadecidió él sofito que estos docentes eran un desastre y los trataron como tal.Doscientosseis«malos»enseñantesmenos.Estesimplehechoyaparecedemostrarloefectivoqueeselmodelodevalorañadido:estálimpiandoeldistritodelosmaestrosde bajo rendimiento. En lugar de buscar la verdad, la puntuación que produce elmodelolapersonifica.

EsteesunejemplodelbuclederetroalimentacióndeunADM.Veremosmuchosotros en este libro. Las empresas, por ejemplo, utilizan cada vez más lascalificacionesdesolvenciacrediticiaparaevaluaralosposiblescandidatos.Sebasanen la creencia de que las personas que pagan pronto sus facturas tienen másprobabilidadesdellegarpuntualmenteasupuestodetrabajoydecumplirlasnormas.Aunque en realidad hay muchas personas responsables y buenos trabajadores quetienenmalasuerteycuyacalificacióncrediticiacaeenpicado.Noobstante,estaideadequeunamalacalificacióncrediticiaestárelacionadaconunmalrendimientoeneltrabajo hace que las personas que tienen una calificación más baja tengan menosprobabilidadesdeencontrartrabajo.Eldesempleolosempujaalapobreza,loqueasuvezempeoraaúnmássuscalificacionesdesolvencia,con loque les resultaaúnmás difícil encontrar trabajo. Es una espiral que se retroalimenta. Y las empresasnunca descubren cuántos buenos empleados han dejado de contratar por centrarseúnicamente en las calificaciones crediticias. En las ADM, hay muchas premisas

www.lectulandia.com-Página10

Page 11: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

perniciosas camufladas bajo las matemáticas y se mantienen sin que nadie lasverifiquenilascuestione.

EstonosllevaahablardeotracaracterísticacomúndelasADM:suelencastigaralos pobres. Esto se debe, en parte, a que han sido diseñadas para evaluar grandescantidades de personas. Están especializadas en trabajar con grandes volúmenes, ysonbaratas.Esoformapartedesuatractivo.Losricos,encambio,recibenamenudoun tratomáspersonal.Unbufetedeabogadosdedasealtaounexclusivo institutoprivado se basarán más en recomendaciones y entrevistas personales durante losprocesosdeselecciónqueunacadenadecomidarápidaoundistritoescolarurbanoconescasosfondos.Losprivilegiados,comoveremosunayotravez,sonanalizadosporpersonas;lasmasas,pormáquinas.

ElhechodequeSarahWysockinoconsiguieraencontraranadiequelepudieraexplicarsupésimapuntuacióntambiénesmuyrevelador.LosveredictosdelasADMsoncomo losdictadosde losdiosesde losalgoritmos.Elmodeloensíesunacajanegra,sucontenido,unsecretocorporativofieramenteguardado,Deestemodo, lasconsultoras como Mathematica pueden cobrar más, aunque este secretismo sirvetambiénaotrospropósitos:sesuponeque,silaspersonasevaluadasnosabencómosehacelaevaluación,esmenosprobablequeintentenengañaralsistema.Yasínolesquedaráotra alternativaque simplemente trabajar duro, cumplir las normasy rezarpor que el modelo registre y valore sus esfuerzos. Por otra parte, al esconder losdetalles de su funcionamiento, también resultamás difícil cuestionar la puntuaciónresultanteoprotestarcontraella.

Durante años, los docentes de Washington se quejaron de las puntuacionesarbitrariasypidieronlosdetallesdelosaspectosquesevaloraban.Esunalgoritmo,les dijeron, es muy complejo. Esto disuadió a muchos de seguir presionando.Desgraciadamente, hay muchas personas que se sienten intimidadas por lasmatemáticas.PeroSarahBax,unaprofesoradeMatemáticas, siguiópresionandoaladministradordeldistrito, JasonKamras,unantiguocolegasuyo,paraque ledieralosdetalles.[12]Despuésdemesesdetirayafloja,JasonKamrasledijoqueesperaraunpoco,quesepublicaríaprontouninformetécnico.SarahBaxlecontestó:«¿Cómopuedesjustificarelhechodequeestéisevaluandoapersonasconunmétodoquenosois capacesde explicar?».Pero esa esprecisamente lanaturalezade lasADM.Elanálisis se subcontrata a programadores y estadísticos, y, por lo general, dejan queseanlasmáquinaslasquehablen.

A pesar de todo, Sarah Wysocki sabía que las puntuaciones de las pruebasestandarizadas de sus alumnos tenían un gran peso en la fórmula. Y tenía ciertassospechassobreesepunto.Antesdeempezarelqueseríasuúltimocursoenelcentrode enseñanzamediaMacFarland, se había llevadouna alegría al descubrir que susnuevosalumnosdequintocursohabíantenidounasnotassorprendentementebuenasenlaspruebasquehabíanhechoalfinalizarelcursoanterior.EnelcentrodeprimarlaBarnard,delqueveníanmuchosdesusalumnos,el29%delosalumnos[13]obtuvola

www.lectulandia.com-Página11

Page 12: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

calificaciónde«nivelavanzado»enlectura.Eraunporcentajecincovecesmayorquelamediadeldistritoescolar.

Sinembargo,cuandoempezaronlasclases,Sarahdescubrióqueamuchosdesusalumnos les costaba leer incluso frases sencillas. Mucho después, los periódicosWashingtonPostyUSATodaypublicaronquesehabíadescubiertounaltonúmerodetachadurasenlaspruebashomologadasde41centrosescolaresdeldistrito,incluidoelBarnard.[14]Encontrarunaltonúmeroderespuestascorregidasapuntaaunamayorprobabilidad de que se hayan hecho trampas en el examen. En algunos centros sesospechabadehastael70%delasclases.

¿YquétieneestoqueverconlasADM?Puesunpardecosas.Enprimerlugar,los algoritmos de evaluación de docentes son una herramienta poderosa para lamodificacióndelcomportamiento.Eseessupropósito,yenloscentroseducativosdeWashingtonsirvieronalmismotiempodepaloydezanahoria.Losmaestrossabíanque si sus alumnos tropezaban en la prueba, sus propios empleos estaríanamenazados. Y esto supuso una fuerte motivación para los maestros, que queríanasegurarsedequesusalumnosaprobarían,especialmenteenunmomentoenelquelaGran Recesión azotaba el mercado laboral, Al mismo tiempo, si sus alumnosobteníanmejoresresultadosqueotrosalumnosdelmismocurso, losmaestrosy losdirectivosdeloscentrosrecibiríanprimasdehasta8000dólares.[15]Sisecombinanestospoderosos incentivoscon laspruebasdelcaso—elaltonúmerode respuestasborradasy laspuntuacionesanormalmentealtasen laspruebas—,hayrazonesparasospechar que los maestros de cuarto curso, cediendo ante el miedo o la codicia,habíancorregidolosexámenesdesusalumnos.

Esto significa que existe la posibilidad de que los alumnos de quinto curso deSarah Wysocki empezaran el curso escolar con unas puntuaciones artificialmenteinfladas. Si esto fue así, los resultados que obtuvieron al final del quinto cursocondujeronalafalsaconclusióndequesuscompetenciashabíanretrocedido…ydequeteníanunamalamaestra,Sarahestabaconvencidadequeestehabíasidosucaso.Esta explicación encajaría con los comentarios de los padres, los compañeros y sudirector, que decían que era una buena docente. Esto aclararía toda la confusión.SarahWysockiteníaargumentossólidos.

Sinembargo,noesposibleapelarladecisióndeunADM.Estoformapartedesutemible poder.No escuchan.Ni se doblegan.Son sordas, y no solo al encanto, lasamenazas y las adulaciones, sino también a la lógica, incluso cuando hay buenasrazonesparacuestionarlosdatosquealimentansusconclusiones.Sí,esciertoquesiresulta evidente que los sistemas automatizados están metiendo la pata de formavergonzosa y sistemática, los programadores abrirán los sistemas y retocarán losalgoritmos, pero en casi todos los casos los programas emiten veredictosinquebrantables,yalossereshumanosquelosutilizansololesquedaencogersedehombroscomosidijeran:«Bueno,¿yquépodemoshacer?».

www.lectulandia.com-Página12

Page 13: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Y esa es precisamente la respuesta que Sarah Wysocki recibió finalmente deldistritoescolar.JasonKamrasdeclaródespuésalWashingtonPostquelastachaduraseran«sugerentes»[16]yqueeraposiblequehubieraalgúnerrorenlaspuntuacionesdelos alumnos de quinto curso de Sarah Wysocki, pero que las pruebas no eranconcluyentes.SegúnJasonKamraslahabíantratadoconjusticia.

¿Esclaralaparadoja?Unalgoritmoprocesaunmontóndeestadísticasyproducecomoresultadounaciertaprobabilidaddequeunapersonaconcretapuedaserunmalempleado, un prestatario de riesgo, un terrorista o un pésimo maestro. Esaprobabilidadsecondensaenunapuntuación,quepuedellegaradestrozarlavidadealguien. Y, sin embargo, cuando esa persona decide defenderse, las «sugerentes»pruebasencontradelveredictosoninsuficientesparaaclararlascosas.Elcasodebequedarblindado.Comoveremosa lo largodeeste libro,en loquea laspruebasserefiere, las víctimas humanas de las ADM tienen que responder a un nivel deexigenciamuchomayorquelospropiosalgoritmos.

Despuésde la terrible sorpresade sudespido,SarahWysocki solo estuvounoscuantos días en paro.[17] Había mucha gente dispuesta a responder por su trabajocomomaestra,entreellassudirector,yenseguidalacontrataronenuncolegiodeunpróspero distrito al norte de Virginia. La consecuencia final fue que, gracias a unmodeloaltamentecuestionable,uncolegiopobreperdióaunabuenamaestra,yuncolegioricoquenodespedíaalosdocentesporlaspuntuacionesqueobtuvieransusalumnosganóuna.

***

Traselestallidodelaburbujahipotecaria,fuiconscientedelaproliferacióndeADMenlabancaydelpeligroquesuponíanparanuestraeconomía,Aprincipiosde2011dejémi trabajo en el fondo de cobertura.Más tarde, tras añadir ami currículo laspalabras «científica de datos», empecé a trabajar en una start-up de comercioelectrónico.DesdeeselugarestratégicoveíaquehabíalegionesdeADMoperandoentodos los sectores imaginables, muchas de ellas exacerbando la desigualdad ycastigandoalospobres.Estabanenelcorazóndelaatrozeconomíadelosdatos.

Quería hacer correr la voz sobre las ADM y empecé a escribir un blog,MathBabe. Con él pretendía movilizar a otros matemáticos contra el uso deestadísticas chapuceras y de modelos sesgados que crean sus propios bucles deretroalimentación perniciosos. Mi blog atrajo en particular a muchas personasespecializadas en datos, que me advirtieron de la propagación de ADM a otrossectores. Pero a mediados de 2011, cuando arrancó el movimiento Occupy WallStreetalsurdeManhattan,comprendíqueteníamosmuchotrabajoquehacerconelgranpúblico.Milesdepersonassehabían reunidoparaexigir justiciaeconómicayrendición de cuentas, pero cuando escuchaba las entrevistas que hacían a losmiembros delmovimiento, amenudo saltaba a la vista que no sabían nada de los

www.lectulandia.com-Página13

Page 14: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

aspectosmás elementales de las finanzas. Era obvio que no habían leídomi blog(aunquedebo añadir queno es necesario entender todos los detalles de un sistemaparasaberquehafracasado).

Me di cuenta de que tenía dos opciones: podía criticarlos o unirme a ellos; ydecidí unirme a ellos. Poco después empecé a dirigir las reuniones semanales delGrupodeBancaAlternativaenlaUniversidaddeColumbia,dondedebatíamossobrelareformafinanciera,Duranteesteproceso,descubríquemisdosaventurasfueradelmundo académico, una en finanzas y la otra en la ciencia de los datos,me habíanabiertolaspuertasalatecnologíayalaculturaquealimentanlasADM.

En la actualidad, los modelos matemáticos mal diseñados microgestionan laeconomía,desdelapublicidadhastalascárceles.EstasADMpresentanmuchasdelascaracterísticasquetieneelmodelodevalorañadidoquearruinólacarreradeSarahWysocki en los centros educativos públicos deWashington. Son opacas, nadie lascuestiona,nodanningún tipodeexplicacionesyoperana talescalaqueclasifican,tratan y «optimizan» a millones de personas. Al confundir sus resultados con larealidad sobre el terreno, la mayoría de ellas crean bucles de retroalimentaciónperniciosos.

Noobstante,hayunadiferenciaimportanteentreunmodelodevalorañadidodeun distrito escolar y, por ejemplo, unADMque busca a posibles clientes para losabusivospréstamosrápidos:lasrecompensasqueobtienensondiferentes.Enelcasodeldistritoescolar, larecompensaesunaespeciededivisapolítica, lasensacióndequeseestánarreglando losproblemas.Mientrasqueenelcasode lasempresas, larecompensa es la divisa habitual: dinero. Enmuchas de las empresas que utilizanestos algoritmos canallas, el dineroqueganana raudalesparecedemostrarque susmodelos funcionan bien. Si lo consideramos desde su punto de vista, tienemuchosentido. Construyen sistemas estadísticos para encontrar clientes o manipular aprestatariosdesesperados,ysuscrecientesingresosparecendemostrarquevanporelbuen camino. El software cumple su función. El problema es que los beneficiosacabanactuandocomounvalorsustitutivodelaverdad.Veremosqueestapeligrosaconfusiónserepiteunayotravez.

Estoocurreporqueloscientíficosdedatosseolvidancondemasiadafrecuenciade la gente que está al otro lado de la transacción, Sin duda alguna saben que unprogramadeprocesamientodedatosmalinterpretaráalaspersonaspartedeltiempo,loquesignificaquelasclasificaráengruposquenolescorresponden,olesnegaráelacceso a un empleo o la oportunidad de comprar la casa de sus sueños. Y, sinembargo, en términosgenerales, las personasque ejecutan lasADMno separan apensarenesoserrores,Suretroalimentacióneseldinero,queestambiénsuincentivo.Sus sistemas están diseñados para engullir más y más datos y perfeccionar susanálisisconelobjetivodequeleslluevamásdinero.Losinversores,evidentemente,celebranestosrendimientosycolmanalasempresasdeADMconmásdinero.

www.lectulandia.com-Página14

Page 15: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

¿Y las víctimas? Bueno, un científico de datos nos diría que ningún sistemaestadísticoesperfecto.Esaspersonassondañoscolaterales.Y,confrecuencia,comoen el caso de Sarah Wysocki, son consideradas indignas y prescindibles.Olvidémonos de las víctimas por unmomento, nos diría, y pensemos en todas laspersonas que reciben sugerencias provechosas de losmotores de recomendación yqueencuentranmúsicaquelesapasionaenlaradioenlíneaPandora,sutrabajoidealenLinkedInoquizá el amorde suvida enMatch.com.Pensemosen laprodigiosaescaladeestosmodeloseignoremoslasimperfecciones.

Elbigdatacuentaconmuchospredicadores,peroyonomecuentoentresusfilas.Estelibrovaclaramenteenotradirección,tratasobreeldañoqueinfligenlasADMylas injusticias que perpetúan. Repasaremos ejemplos dañinos que afectan a laspersonas en momentos cruciales de la vida: empezar la universidad, pedir unpréstamo, ser condenado a prisión o encontrar y conservar un trabajo. Todos estosámbitosdenuestrasvidasestáncadavezmásenmanosdeunosmodelossecretosqueblandencastigosarbitrarios.

Bienvenidosalladooscurodelbigdata.

www.lectulandia.com-Página15

Page 16: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

E

01Partesdeunabomba¿Quéesunmodelo?

raunacalurosatardedeagostode1946.LouBoudreau,eljugadorydirectortécnico del equipo de los Cleveland Indians, llevaba un día terrible. En el

primerpartidodeundoble juego,TedWilliams,que jugabaconeladversario,casihabía logradoaniquilara todosuequipoélsolito.Ted,quientalvezfueraelmejorbateador de la historia hasta el momento, había anotado tres jonrones y llevado aochojugadoresalhome.LosIndiansacabaronperdiendo11a10.

LouBoudreauteníaquehaceralgo.Demodoque,cuandoTedWilliamsaparecióporprimeravezduranteelsegundopartido, los jugadoresdelosIndianscambiaronde posición. Lou, el campocorto, corrió hasta donde solía colocarse el jugador desegundabaseyesteseretiróalcampoexteriorderecho.Eljugadordetercerabasesefuehacialaizquierda,alagujerodelcampocorto.ResultabaobvioqueLouBoudreau,quizáporpuradesesperación,[18]estabacambiandotodalaorientacióndesudefensaparaintentarponeraTedWilliamoutcadavezquebateara.

Enotras palabras,LouBoudreau estaba pensando comoun científico de datos.Habíaanalizadolosdatosprimarios,engeneralmedianteobservación:TedWilliamsnormalmente bateaba la pelota al campo derecho.Así queLou se adaptó a eso.Yfuncionó.LosjardinerosconsiguieroninterceptarmásveloceslíneasdeWilliamsqueantes (aunque no pudieron hacer nada contra los jonrones que volaban sobre suscabezas).

En cualquier partido de béisbol de una liga importante en la actualidad, losdefensorestratanacasitodoslosjugadorescomoLouBoudreautratóaTedWilliams.MientrasqueLousimplementeobservódóndesolíabatearlapelotaTedWilliams,losdirectorestécnicosdehoyendíasabenexactamentedóndehabateadolapelotacadajugadordurantelaúltimasemana,enelúltimomes,alolargodesucarrera,contralanzadoreszurdos,cuandollevadosstrikes,etc.Utilizanestosdatoshistóricosparaanalizar cada situación y calcular el posicionamiento de los jugadores que estáasociadoalamayorprobabilidaddeéxito,loqueenocasionesimplicacolocaralosjugadoresenposicionesalejadas.

Cambiara losdefensoresdeposiciónes solounapartedeunapreguntamuchomás amplia: ¿quémedidaspueden tomar los equiposdebéisbol paramaximizar laprobabilidaddeganar?Ensubúsquedaderespuestas,losestadísticosdelbéisbolhandesmenuzado cada una de las variables que han podido cuantificar y le hanadjudicado un valor. ¿Qué diferencia de valor hay entre un doble y un sencillo?¿Cuándomerecelapenadaruntoquedebolaparaqueunjugadorpasedeprimeraasegundabase?¿Tienealgúnsentidohacerlo?

www.lectulandia.com-Página16

Page 17: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Las respuestas a todas estas preguntas semezclan y combinan en losmodelosmatemáticos de este deporte. Estos modelos constituyen universos paralelos delmundo del béisbol, y cada uno de ellos es un complejo tapiz de probabilidades.Incluyen todas las relacionesmedibles entre los distintos componentes del béisbol,desde lasbasesporbolashasta los jonrones,pasandopor lospropios jugadores.Lafinalidaddelmodeloesejecutardiferentesescenariosencadacoyunturaparadarconlas combinaciones óptimas. Si los Yankees ponen a un lanzador diestro paraenfrentarse aMike Trout, el bateador de losAngels que batea conmás fuerza, enlugardedejarallanzadorquetenían,¿tendránmásprobabilidadesdeeliminarlo?¿Ycómoafectaráesoasusprobabilidadesdeganarelpartido?

Elbéisboleselentorno idealparaprobar losmodelosmatemáticospredictivos.Tal y como explicóMichael Lewis en su best seller de 2003,Moneyball,[19] estedeporte ha atraído a empollones obsesionados con los datos a lo largo de toda suhistoria. Hace décadas, los aficionados leían con atención las estadísticas queaparecíanenelreversodelascartasdebéisbolparaanalizarlospatronesdejonróndeCarlYastrzemskiocompararlosstrikestotalesdeRogerClemensyDwightGooden.Sinembargo,desdeladécadade1980,algunosestadísticosprofesionalesempezaronainvestigarloquesignificabanrealmentetodasestascifras,juntoconunaavalanchade nuevos datos: cómo estas cifras se traducían en victorias y cómo los directivospodíanmaximizareléxitoconunapequeñainversión.

«Moneyball» es ahora sinónimo de cualquier enfoque estadístico aplicado aterrenosquehanestadotradicionalmentedominadosporelinstinto.Elbéisbolesuncaso práctico sin efectos perniciosos, y nos servirá de ejemplo positivo con el quecomparar los modelos tóxicos o ADM que están aflorando en tantísimas áreas denuestravida.Losmodelosdelbéisbolsonjustos,enparte,porquesontransparentes.Todoelmundo tieneaccesoa las estadísticasy todos entiendenmásomenosbiencómointerpretarlas.Esciertoqueelmodelodeunequipopuedeconcedermásvalora losbateadoresquebatean jonrones,mientrasque talvezotroreduzcaunpocosuvalor, porque los bateadores suelen hacermuchos strikeouts. En cualquier caso, elnúmerodejonronesystrikeoutsestáahíytodoelmundotieneaccesoaesascifras.

El béisbol tiene también rigor estadístico. Sus gurús cuentan con un inmensoconjuntodedatos,lainmensamayoríadeloscualesestándirectamenterelacionadoscon la actuación de los jugadores en los partidos. Además, sus datos son muyrelevantesparalosresultadosqueintentanpredecir.Estopuedeparecerobvio,pero,comoveremosenestelibro,esmuyhabitualquelosqueconstruyenADMamenudonodispongandedatosrelativosaloscomportamientosquemáslesinteresan,porloque los reemplazan por datos sustitutivos o proxies: Establecen correlacionesestadísticasentreelcódigopostaldeunapersonaosuspatronesdeusodellenguajeysupotencialparadevolverunpréstamoorealizaruntrabajo.Estascorrelacionessondiscriminatoriasyalgunasdeellas incluso ilegales.Losmodelosdelbéisbol, en su

www.lectulandia.com-Página17

Page 18: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

mayoría,noempleandatossustitutivosporqueutilizandatosrelevantescomobolas,strikesyhits.

Y,lomásimportante,estosdatosseacumulandemaneraconstante,graciasalasnuevasestadísticasquegeneranunamediadedoceotrecepartidosdiariosdurantelatemporada,quevadeabrilaoctubre.Losestadísticospuedencompararlosresultadosde estos partidos con las predicciones de susmodelos e identificar en qué se hanequivocado.Quizá predijeron que un relevista zurdo perderíamuchoshits frente abateadoresdiestros,y,sinembargo,arrasa.Enesecaso,elequipodeestadísticatienequeretocarelmodeloeinvestigarporquéseequivocaron.¿Afectólanuevaboladetornillo del lanzador a sus estadísticas? ¿Lanza mejor por la noche? Cuandodescubrenalgonuevo,lointroducenenelmodeloparaperfeccionarlo.Asíescomofuncionanlosmodelosfiables.Mantienenunconstanteiryvenirconloselementosdel mundo real que intentan comprender o predecir. Y cuando las condicionescambian,elmodelodebecambiartambién.

En este punto podríamos preguntarnos cómo se nos habrá podido ocurrircomparar elmodelodel béisbol, que incluyemiles devariables cambiantes, con elmodeloutilizadoparaevaluaralosdocentesdeloscentroseducativosdeWashingtonD.C.Enelprimercasosemodelan todosycadaunode loselementosdeldeportehasta el más mínimo detalle y se incorpora información actualizada de formacontinua.Mientrasqueelotromodelo, rodeadodemisterio,parecebasarseengranmedidaenlacomparacióndelosresultadosdeunpuñadodepruebasdeuncursoalsiguiente.¿Podemosconsiderarlorealmenteunmodelo?

Y la respuesta es sí. Un modelo, al fin y al cabo, no es más que unarepresentaciónabstractadeciertosprocesos,yasetratedeunpartidodebéisbol,delacadenadesuministrodeunapetrolera,delasaccionesdeunGobiernoextranjeroodela asistencia del público a un cine. Independientemente de que se ejecute en unprograma de ordenador o en nuestra cabeza, elmodelo coge lo que sabemos y loutilizaparapredecirrespuestasendistintassituaciones.Todosnosotrostenemosmilesdemodelosenlacabeza.Nosdicenquéesperarynosguíanaltomardecisiones.

Veamosunejemplodeunmodelo informalqueyoempleoadiario.Tengo treshijos,ysoyyolaquecocinaencasa—mimarido,benditosea,nisiquieraseacuerdadeecharsalalaguacuandocuecepasta—.Cadanoche,cuandomepongoacocinarparatodalafamilia,demanerainternaeintuitiva,modeloelapetitoquetendrácadaunodelosmiembrosdemifamilia.Séqueunodemishijossecomerásololapasta(con queso parmesano rallado) y que a otro le encanta el pollo (pero odia lashamburguesas).Perotambiéntengoquetenerencuentaqueelapetitodeunapersonavaríadeundíaaotro,porloquesiseproduceuncambio,lanuevasituaciónpodríapillar a mi modelo por sorpresa. Siempre hay una inevitable cantidad deincertidumbre.

Losdatosdeentradademimodelointernoparacocinarsonla informaciónquetengosobremifamilia,losingredientesquetengoamanoodisponiblesymipropia

www.lectulandia.com-Página18

Page 19: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

energía,tiempoyambición.Elresultadoesloquedecidococinarycómolococino.Evalúoeléxitodeunacomidaenfuncióndelosatisfechaquequedamifamilia,decuántohancomidoyde losaludablequeera.Vercómose lahancomidoycuántohan disfrutado de ella me permite actualizar mi modelo para la próxima vez quecocine. Las actualizaciones y los ajustes lo convierten en lo que los estadísticosdenominanun«modelodinámico».

Estoyorgullosadepoderafirmarqueconelpasodelosañoshemejoradomuchoyahorasemedamuybiencocinarparamifamilia.Pero¿quépasasimimaridoyyonosvamosdeviajeunasemanayquieroexplicarleamimadreelsistemaqueutilizoparaqueellapuedasustituirme?¿Oquépasasiunademisamigasconhijosquiereaprender mis métodos? Ese será el momento en el que empezaré a formalizar mimodeloyaconvertirloenunmodelomuchomássistemáticoy,enciertosentido,másmatemático.Y,simesintieraconánimos,talvezinclusomelanzaríaaexpresarloenunprogramainformático.

Idealmente, el programa informático incluiría todas las opciones de comidadisponibles, su valor nutricional y su coste, así como una base de datos completasobrelosgustosdemifamilia:lascomidasqueprefierenyloquenolegustaacadauno de ellos. Aunque lo cierto es que me costaría bastante ponerme delante delordenadoryrecordartodaesainformaciónderepente.Tengomilesderecuerdosdelos miembros de mi familia sirviéndose espárragos por tercera vez o dejando lasjudías verdes en el borde del plato, pero todos esos recuerdos están mezclados yresultadifícilformalizarlosenunalistaexhaustiva.

La mejor solución sería ir construyendo el modelo a lo largo del tiempo,introduciendocadadía losdatosde loquehecompradoycocinadoyanotando lasrespuestas de cadamiembro de la familia. Incluiría también algunos parámetros ylimitaciones. Podría limitar las frutas y verduras a los productos de temporada yautorizarunacantidadrestringidadedulces,aunqueseríajustolacantidadsuficienteparaevitarqueestalleunarebelión.Tambiénañadiríaunaseriedereglas,Almayorleencanta la carne, almediano legustanelpany lapasta,y elpequeñobebemuchalecheeintentauntardeNutellatodoloquepilla.

Simededicaraaintroducirtodosestosdatosdemanerasistemáticaalolargodemuchosmeses,podríaconseguirunbuenmodelo.Habríaconvertidotodalagestiónde la comida que guardo en la cabeza,mimodelo informal interno, en unmodeloformalexterno.Alcrearmimodelo,expandiríamipodereinfluenciasobreelmundo.Habríacreadounyoautomatizadoqueotrospodríanejecutarcuandonoestoy:

Noobstante,elmodeloseguiríacometiendoerrores,yaquetodomodeloes,porsu propia naturaleza, una simplificación. Ningún modelo puede incluir toda lacomplejidaddelmundonilosmaticesdelacomunicaciónhumana.Esinevitablequepartedelainformaciónimportantesequedefuera.Puedequesemepasarainformarami modelo de que podemos saltamos las reglas sobre la comida basura en los

www.lectulandia.com-Página19

Page 20: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

cumpleaños o que mis hijos prefieren comer las zanahorias crudas en lugar decocidas.

Al crear un modelo, por tanto, tomamos decisiones sobre lo que essuficientemente importante como para incluirlo en el modelo, y simplificamos elmundoenunaversióndejuguetequepuedaserfácildecomprenderydelaquesepuedandeducirhechosyaccionesimportantes.Esperamosqueelmodelorealiceunaúnicatareayaceptamosqueenocasionessecomportarácomounamáquinaquenotieneideadenada,unamáquinaconenormespuntosciegos.

Aveceslospuntosdiegosdeunmodelonotienenningunaimportancia.CuandopedimosaGoogleMapsquenos indiquecómollegaraun lugar,modelaelmundocomounaseriedecarreteras, túnelesypuentes. Ignora losedificios,porquenosonrelevantespara la tarea.Cuandoelsoftwaredeaviónicaguíaaunavión,modelaelviento,lavelocidaddelaviónylapistadeaterrizajeentierra,peronolascalles,lostúneles,losedificios,nilaspersonas.

Los puntos ciegos de un modelo reflejan las opiniones y prioridades de suscreadores.Mientrasque lasdecisionesquesehan tomadoenGoogleMapsoenelsoftwaredeaviónicaparecenclarasysencillas,otrassonmuchomásproblemáticas.ElmodelodevalorañadidodeloscentroseducativosdeWashingtonD.C,volviendoa nuestro ejemplo, evalúa a los docentes basándose fundamentalmente en laspuntuaciones de las pruebas de los alumnos e ignora el hechode que los docentesmotivena losalumnos, trabajencompetenciasespecíficas,haganunabuenagestióndel aula o ayuden a los alumnos con sus problemas personales y familiares. Esexcesivamente simple, renuncia a la precisión y la comprensión detallada de lassituaciones y se centra únicamente en la eficiencia. A pesar de todo, desde laperspectiva de los administradores, este modelo es una herramienta eficaz paradescubrircientosdedocentesaparentementedebajorendimiento,inclusoariesgodeequivocarseconalgunosdeellos.

Vemos,pues,quelosmodelos,apesardesureputacióndeimparcialidad,reflejanobjetivos e ideologías.Cuando eliminé la posibilidad de tomar dulces en todas lascomidas,estabaimponiendomiideologíaenelmodelodelascomidas.Soncosasquehacemos sin pararnos a reflexionar.Nuestros propios valores y deseos influyen ennuestraselecciones,desdelosdatosquedecidimosrecopilarhastalaspreguntasquehacemos.Losmodelossonopinionesintegradasenmatemáticas.

Elhechodequeunmodelofuncionebienonotambiénescuestióndeopiniones.Al finyalcabo,uncomponenteclavede todos losmodelos, tantode los formalescomo de los informales, es cómo se define el éxito delmodelo. Este es un puntoimportantealquevolveremoscuandoexploremoseloscuromundodelasADM.Encadacaso,deberemospreguntarnosnosoloquiéndiseñóelmodelo,sinotambiénquéesloquelapersonaolaempresaencuestiónintentanlograrconél.SielGobiernodeCoreadelNorteconstruyeraunmodelodecomidasparamifamilia,porejemplo,esposible que estuviera optimizado para mantenernos por encima del umbral de la

www.lectulandia.com-Página20

Page 21: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

inaniciónalmenorcosteyenfuncióndelasexistenciasdealimentosdisponibles.Laspreferencias de cada uno no contarían apenas o quizá nada en absoluto. Por elcontrario,simishijosfueranlosquecrearanelmodelo,eléxitopodríaconsistirentomarheladoencadacomida.Mipropiomodelointentamezclarpartedelagestiónde recursosde losnorcoreanoscon la felicidaddemishijos, juntoconmispropiasprioridades sobre la salud, la comodidad, la diversidad de experiencias y lasostenibilidad,Comoconsecuenciadetodoesto,mimodeloesmuchomáscomplejo,aunque sigue reflejandomi propia realidad personal.Y unmodelo construido parahoy en día funcionará peor en el futuro. Se quedará obsoleto en seguida si no seactualiza constantemente. Los precios cambian, así como las preferencias de laspersonas. Un modelo construido para un niño de seis años no funcionará con unadolescente.

Estoesciertotambiénenelcasodelosmodelosinternos.Confrecuenciavemosque surgenalgunosproblemascuandounosabuelosvisitanaunanieta a laquenohanvistodesdehacetiempo.Ensuvisitaanterior,losabuelosrecopilarondatossobreloquelaniñasabía,loquelehacíareíryelprogramadetelevisiónquelegustabay,demanerainconsciente,crearonunmodelopararelacionarseconesaniñadecuatroañosenconcreto.Cuandolavuelvenaverunañomás tarde,sesienten incómodosdurante unas horas porque sus modelos se han quedado anticuados. Resulta queThomaslaLocomotorayanotieneinterésalguno.Losabuelostardanuntiempoenrecogernuevosdatossobrelaniñayajustarsusmodelos.

Estonosignificaqueunbuenmodelonopuedaserrudimentario.Algunosdelosmodelosmásefectivosdependendeunaúnicavariable.Elmodelomáscomúnmenteutilizadoenlossistemasdedeteccióndeincendiosenhogaresyoficinasponderaunaúnica variable con una fuerte correlación: la presencia de humo. Eso suele sersuficiente. Sin embargo, los creadores demodelos semeten en problemas—onosmetenanosotrosenproblemas—cuandoaplicanmodelostansencilloscomoeldelaalarmadehumoasuscongénereshumanos.

Elracismo,aescalaindividual,puedeserconsideradounmodelopredictivoquerunruneaenmilesdemillonesdementeshumanasentodoelmundo.Seconstruyeapartirdedatosimperfectos,incompletosogeneralizados.Independientementedequeprovengandelaexperienciapropiaoseandeoídas,losdatosindicanqueciertostiposdepersonassehancomportadomal.Esogeneraunapredicciónbinariadequetodaslaspersonasdeesarazasecomportarándelmismomodo.

Evidentemente,losracistasnodedicanmuchotiempoabuscardatosfiablesparadesarrollarsusretorcidosmodelos.Ycuandoestemodelosetransformaencreencia,queda profundamente arraigado. Elmodelo genera entonces supuestos perniciosos,aunqueraravezlosverifica,yeligedatosqueparecenconfirmarlosyreforzarlos.Esun modelo alimentado por datos recogidos al azar y por correlaciones espurias,reforzado por desigualdades institucionales y contaminado por sesgos de

www.lectulandia.com-Página21

Page 22: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

confirmación.Deestemodo,aunqueparezcaextraño,elracismooperacomomuchasdelasADMquedescribiréenestelibro.

***

En1997, un juradodel condadodeHarris (Texas) tenía quedecidir la condenadeDuaneBuck,unafroamericanocondenadoporasesinato.[20]Elacusadohabíamatadoadospersonasyeljuradodebíadecidirentrelapenacapitalylacadenaperpetuaconlaposibilidaddeaccederalalibertadprovisionalenalgúnmomento.Laabogadadela acusación presionaba para conseguir la pena demuerte y argumentaba que si elacusadosalíadelacárcelpodríavolveramatar.

ElabogadodefensordeDuaneBucktrajoaunexpertoparaquedeclararaduranteeljuicio,elpsicólogoWalterQuijano,quenoayudóenabsolutoasucliente.WalterQuijano,quehabíaestudiadolos índicesdereincidenciaenelsistemapenitenciariode Texas, hizo una referencia a la raza de Duane Buck[21] y la abogada de laacusaciónfueaporélduranteelinterrogatorio.

—Hadeterminadoqueel…,elfactordelaraza,negra,incrementalapeligrosidadfuturaporvariasrazonescomplejas.¿Esesocorrecto?—preguntó laabogadade laacusación.

—Sí—contestóWalterQuijano.Laabogadadelaacusaciónrecordóestetestimonioensusconclusionesfinalesy

eljuradocondenóaDuaneBuckamuerte.Tres años más tarde, el fiscal general de Texas, John Cornyn, descubrió que

Walter Quijano había hecho este mismo tipo de referencias a la raza en susdeclaracionescomoexpertoenotrosseiscasosdepenacapital,enlamayoríadeloscasos contratado por la acusación. JohnCornyn, que fue elegido senador en 2002,ordenóqueserepitieranlosjuiciosdeestossietereclusosenunnuevoprocesoenelquenosehicieradistinciónalgunaporlaraza.Enuncomunicadodeprensa,elfiscalgeneral declaró: «Es inaceptable permitir que la raza sea tratada como un factor atenerencuentaennuestrosistemadejusticiapenal[…]ElpueblodeTexasdeseaysemereceunsistemaqueimpartalamismajusticiaparatodos».[22]

Serepitieronseisjuiciosylosseispresosvolvieronasercondenadosamuerte.EltribunaldictaminóqueladeclaracióndiscriminatoriadeWalterQuijanonohabíasidodecisiva.DuaneBuck no ha vuelto a ser juzgado,[23] tal vez porque fue su propiotestigoelquemencionóelfactordelaraza.Sigueenelcorredordelamuerte.

Independientemente de si la cuestiónde la raza surge de forma explícita enunjuicioono,durantemucho tiempohasidounode los factoresmás influyentesa lahoradedeterminarlascondenas.UnestudiodelaUniversidaddeMarylanddemostróqueenelcondadodeHarris,alqueperteneceHouston,es tresvecesmásprobablequelaacusaciónpidalapenademuertecuandoelacusadoesafroamericanoycuatro

www.lectulandia.com-Página22

Page 23: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

vecesmásprobablesielacusadoeshispanoquecuandounblancoesjuzgadoporlosmismos cargos.[24] Este patrón no es exclusivo de Texas. Según la UniónEstadounidense por las Libertades Civiles, las condenas de cárcel impuestas ahombresdecolorenelsistemafederalsoncasiun20%máslargasquelasimpuestasahombresblancospordelitossimilares.[25]Yaunquelospresosdecolorrepresentansoloel13%delapoblación,el40%delasceldasdeEstadosUnidosestáocupadoporreclusosnegros.[26]

Por lo tanto, podríamos pensar que la utilización de modelos de riesgoinformatizadosnutridos condatosdebería reducir la influenciade losprejuicios enlascondenasyquecontribuiríaaqueeltratoimpartidoseamásimparcial.Esaeslaesperanzaquehaimpulsadoalostribunalesdeveinticuatroestadosdelpaísarecurriralosdenominadosmodelosdereincidencia,[27]queayudanalosjuecesaevaluarelpeligroquerepresentacadaconvicto.Yenmuchosaspectosestosmodelossuponenunamejora.Hacenquelascondenasseanmáscongruentesyreducenlaprobabilidaddequedependandelestadodeánimoydelossesgosdelosjueces.Tambiénayudanaahorrar fondos, ya que reducen la duración de la condena media (mantener a unreclusocuestaunamediade31.000dólaresalaño,[28]yeldobleenlosestadosmáscaroscomoConnecticutyNuevaYork).

Lacuestiónquedebemosconsiderar,noobstante,essihemoseliminadoelsesgohumano o si simplemente lo hemos camuflado con tecnología. Es cierto que losnuevosmodelosdereincidenciasoncomplicadosymatemáticos,perohaymultituddesupuestosincrustadosensusentrañas,yalgunosdeellossondiscriminatorios.Ymientras que las palabras deWalterQuijanoquedaron reflejadas en el acta, con loque posteriormente podía ser leída y denunciada ante los tribunales, elfuncionamientodeunmodelodereincidenciaestábienguardadoenalgoritmosquesolosoninteligiblesparaunaélitemuyreducida.

Unodelosmodelosmáspopulares,conocidocomoLSI-R,oInventariodeNiveldeServicioRevisado,incluyeunextensocuestionarioqueeldetenidodeberellenar.Unadelaspreguntas—«¿Cuántascondenaspreviashatenido?»—esparticularmenterelevante para determinar el riesgo de reincidencia. También hay otras preguntasclaramente relacionadas con ese riesgo: «¿Qué papel tuvieron otras personas en eldelito?¿Quépapeltuvieronlasdrogasyelalcohol?».

Noobstante,alolargodelcuestionariolaspreguntasvanhurgandocadavezmásen lavidade lapersonayes fácil imaginarque los reclusosdeorigenprivilegiadocontestarándeunamaneraylosdelascallesdelosbarriosdesfavorecidosdeotra.Alpreguntarleaundelincuentequecrecióenunbarrioacomodadopor«laprimeravezquetuvotratoconlapolicía»,esposiblequenotenganiunsoloincidentequecontarapartedelquelellevóalacárcel.Porelcontrario,esprobablequeaunjovennegrolohayaparadolapolicíadocenasdeveces,inclusosinquehubierahechonadamalo.Unestudiode2013delaUniónporlasLibertadesCivilesdeNuevaYorkconcluyóque,aunqueloshombresnegrosehispanosdeentre14y24añosconstituyentansolo

www.lectulandia.com-Página23

Page 24: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

el 4,7% de la población de la ciudad, fueron objeto del 40,6% de los controlespoliciales con cacheo.[29]Más del 90% de los jóvenes a los que controlaron eraninocentes. Del resto, algunos estaban consumiendo alcohol pese a ser menores ollevabanunporro.Y,alcontrariodeloquelesocurrealamayoríadelosniñosricosenlasmismascircunstancias,tuvieronproblemasporello.Porloquesi«habertenidotrato» con la policía a una edad temprana es indicio de un mayor riesgo dereincidencia,laspersonaspobresylasminoríasracialesparecenpresentarunriesgomuchomayor.

Y las preguntas del cuestionario no se detienen ahí. A los detenidos se Lespreguntatambiénsisusamigosofamiliarestienenantecedentespenales.Denuevoserepiteelpatrón.Silehacemosesapreguntaauncondenadoquesehayacriadoenunbarriodedasemedia,esmuchomásprobablequelarespuestaseano.Efectivamente,elcuestionarionopreguntaenningúnmomentopor laraza,yaqueesapreguntaesilegal, pero teniendoencuenta la abundanciadedetallesqueobtienede lavidadecadapreso,esaúnicapreguntailegalesprácticamentesuperflua.

Desde su invención en 1995, se ha pasado el cuestionario LSI-R a miles dereclusos.Losestadísticoshanutilizadoesosresultadosparadiseñarunsistemaenelquelaspreguntasquetienenunaaltacorrelaciónconlareincidenciatienenmáspesoque las demás y danmás puntos. Tras contestar al cuestionario, los convictos sonclasificados como delincuentes de riesgo elevado, medio o bajo en función delnúmerodepuntosquehayanacumulado.Enalgunosestados,comoenRhodeIsland,[30] estas pruebas se utilizan únicamente para identificar a los reclusos conpuntuacionesdealtoriesgoconelobjetivodeincluirlosenprogramasdeprevenciónde la reincidencia durante su estancia en la cárcel. Sin embargo, en otros estados,comoIdaho[31]yColorado,[32]losjuecesutilizanestaspuntuacionescomodirectricesparadecidircondenas.

Esto es injusto. El cuestionario incluye las circunstancias del nacimiento y laeducacióndelosdelincuentes,incluidainformaciónsobresufamilia,subarrioysusamigos.Estosdetallesnodeberíansertenidosenconsideraciónenelprocesopenalnienlacondena.Dehecho,silaacusaciónintentaraatacaraunacusadomencionandolosantecedentespenalesdesuhermanooelaltoíndicededelincuenciadelbarrioenelquevive,unbuenabogadodefensorgritaría:«¡Protesto,Señoría!».Yunjuezserioadmitiríalaprotesta.Enestosebasanuestrosistemajurídico.Somosjuzgadosporloque hacemos, no por lo que somos. Y aunque no sabemos exactamente qué pesotienen esas partes del cuestionario, cualquier puntuación por encima de cero es yainaceptable.

MuchaspersonasdiríanquelossistemasestadísticoscomoelLSI-Rsonefectivospara estimar el riesgo de reincidencia—o, almenos, que sonmás precisos que laconjeturaaleatoriadeunjuez—.Elproblemaesquesidejamosdelado,aunqueseadurante un segundo, la cuestión esencial de la justicia, nos sumiremos sin darnoscuentaenelbuclederetroalimentaciónperniciosodeunADM.Esprobablequeuna

www.lectulandia.com-Página24

Page 25: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

personacalificada«de alto riesgo»esté enparoyprovengadeunbarrio en el quemuchosdesusamigosyfamiliareshayantenidorocesconlaley.Graciasenparteasualtapuntuaciónenlaevaluacióncomoconsecuenciadesusorígenes,esapersonaserá condenada aunapenamás larga, loque la encerrará en la cárcel durantemásaños,dondeestarárodeadadeotrosdelincuentes, loqueincrementalaprobabilidaddequevuelvaaprisión.Cuandofinalmenteseapuestaenlibertad,volveráalmismobarriopobre,aunqueahoraconantecedentespenales,conloqueleresultarámuchomásdifícilconseguirunempleo.Sicometeotrodelito,elmodelodereincidenciaseatribuirá otro éxito, pero lo cierto es que el propio modelo está alimentando uncírculotóxicoyayudaamantenerlo.EsaesunacualidaddistintivadeunADM.

***

Enestecapítulohemosanalizadotresclasesdemodelos.Losmodelosdelbéisbol,engeneral,sonrazonables.Sontransparentesyseactualizanconstantemente,ytantolossupuestos como las conclusiones son claros y accesibles para cualquiera. Estosmodelossenutrendelasestadísticasdecadapartido,nodevaloressustitutivos,ylaspersonas que son objeto de la modelación entienden el proceso y comparten elobjetivo delmodelo: ganar la SerieMundial de béisbol (aunque esto no evite quemuchos jugadoresrefunfuñenpor lasvaloracionesdealgúnmodelocuandollega latemporadade fichajes:«Esciertoque tuve200outs,pero¿quépasacon todosmisjonrones…?»).

Desdemiposiciónestratégicadentrodelsegundomodelo,creoquetampocohaynada de malo en el hipotético modelo de comidas para mi familia. Si mis hijosquisieran conocer las premisas subyacentes al modelo, tanto las de naturalezaeconómica como las dietéticas, yo estaría encantada de facilitárselas. Y, aunque avecessequejancuandovenalgoverdeenelplato,siselespreguntaenserio,admitenquecompartenlosobjetivosdecomodidad,economía,saludybuensabor—aunquepuede que los ponderen de manera diferente en sus propios modelos (y podráncrearlosencuantoempiecenacomprarsesupropiacomida)—.

Deboañadirqueesmuypocoprobablequemimodelollegueaalcanzarunagranescala. No me imagino a los grandes almacenes de descuento Walmart, alDepartamentodeAgriculturadeEstadosUnidosnianingúnotrotitánadoptandomiappeimponiéndoselaacientosdemillonesdepersonas,comohacenconalgunasdelas ADM de las que hablaremos en este libro. No, mi modelo es benigno,especialmenteporqueesmuypocoprobablequellegueasalirdemicabezayalguienloformaliceparaconvertirloenunprogramainformático.

Elejemplodelmodelodereincidenciaquehemosvistoalfinaldelcapítulo,sinembargo, es algo completamente diferente. Despide un olor familiar y nocivo.Hagamos con él un rápido ejercicio de taxonomía de las ADM y veamos dóndeencaja.

www.lectulandia.com-Página25

Page 26: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Laprimerapregunta; aunqueel participante sea conscientedeque esobjetodeunamodelaciónodeparaqué seutiliza elmodelo, ¿es elmodeloopacoo inclusoinvisible? Bien, lamayoría de los detenidos a los que se les pide que rellenen uncuestionarioobligatorionosontontos.Comomínimotendránrazonesparasospecharquelainformaciónquefacilitenseráutilizadacontraellosparacontrolarlosdurantesuestanciaenprisiónoquizáparaencerrarlosdurantemástiempo.Sabendequévalacosa.Perolosfuncionariosdeprisionestambiénlosaben.YnodiránnadasobrelafinalidaddelcuestionarioLSI-R.Sabenque,siexplicanparaquéseutiliza,muchosreclusosintentaránhacertrampasycontestaránalaspreguntasdeformaqueparezcaque serán ciudadanos ejemplares en cuanto salgan del trullo. Por lo tanto, a losreclusos se les dice lomenos posible y nunca se les informa de la puntuación deriesgoquehanobtenido.

Y esto es algo que se repite en muchos otros casos. Los modelos opacos einvisibles son lo habitual, mientras que los modelos transparentes son rarasexcepciones.Nosmodelancomoclientesy telespectadores tiradosenelsofá,comopacientes y solicitantes de préstamos, y apenas nos damos cuenta—incluso en losformulariosque firmamos alegremente—. Incluso cuando losmodelos actúanbien,suopacidadgeneraunasensacióndeinjusticia,Siunacomodadornosdice,alllegaraun concierto al aire libre que no podemos sentarnos en las diez primeras filas deasientos,puedequepensemosqueesoesinaceptable.Sinembargo,sinosexplicaquelasdiezprimerasfilasestánreservadasparapersonasensilladeruedas,nospareceríaperfectamentelógico.Latransparenciaimporta,marcaladiferencia.

Peseatodo,ungrannúmerodeempresassetomanmuchasmolestiasporocultarlosresultadosdesusmodelosoinclusosuexistencia.Unajustificacióncomúnesqueel algoritmo es un «secreto industrial» crucial para su actividad. Afirman que espropiedadintelectualyladefenderánconlegionesdeabogadosygruposdepresiónsiesnecesario.EnelcasodelosgiganteswebcomoGoogle,AmazonyFacebook,solo sus algoritmos hechos meticulosamente a medida valen cientos de miles demillonesdedólares.LasADMson,porsudiseño,cajasnegrasinescrutables.Yestohacequeseaespecialmentedifícilcontestarcategóricamentea lasegundapregunta:¿operaelmodelaencontradelosinteresesdelsujeto?Enotraspalabras,¿esinjusto?¿Dañaodestruyevidas?

Enestesentido,elLSI-Rcumpleclaramentelosrequisitosparaserconsideradoun ADM. Las personas que lo crearon en la década de 1990 lo veían como unaherramientaqueaportaría imparcialidady eficiencia al sistemade la justiciapenal.Ayudaríaademásalosdelincuentesquenosuponenunaamenazaacumplircondenasmenosseveras.Estosetraduciríaenmásañosdelibertadparaellosygrandesahorrosparaloscontribuyentesestadounidenses,quepaganporelsistemapenitenciariounafacturade70.000millonesdedólaresalaño.Noobstante,puestoqueelcuestionariojuzgaaldetenidopordetallesqueseríaninaceptablesanteuntribunal,esinjusto.Y

www.lectulandia.com-Página26

Page 27: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

aunquemuchaspersonaspuedanbeneficiarsedeél,causamuchosufrimientoaotrastantas.

Un componente clave de este sufrimiento es el bucle de retroalimentaciónpernicioso.Comoyahemosvisto,losmodelosparadeterminarlacondenaquedanelperfildeunapersonaenfuncióndesuscircunstanciasayudanacrearelentornoquejustificasussupuestos.Estebucledestructivosealimentaasímismoyasíelmodelosevuelvecadavezmásinjusto.

Latercerapreguntaquedebemoshacernosessielmodelotienelacapacidaddecrecerexponencialmente.O,comolodiríaunestadístico,¿esescalable?Estopuedesonaraunaobjeciónquisquillosadeunempollóndelasmatemáticas,perolaescalaesloquemarcaladiferenciaentrequeunADMseaunapequeñamolestialocalizadao un auténtico tsunami que define y delimita nuestras vidas. Como veremos másadelante,lasADMendesarrolloenlossectoresdelosrecursoshumanos,lasaludylabanca,pormencionarsoloalgunosdeellos,estánestableciendoconrapideznormasgeneralesqueejercensobrenosotrosunafuerzamuysimilaralpoderdelaley.Sielmodelodeunbanconosclasificacomoprestatariosdealtoriesgo,elmundoenteronostratarácomoaholgazanes—aunquesehayaproducidounterribleerror—.Ysiesemodeloalcanzaunagranescala,comoeselcasodelmodelosobrelasolvenciacrediticia, llegará a afectar todos los aspectos nuestras vidas: determinará sitendremosaccesoaunahipoteca,siconseguiremosunempleoosinosconcederánunpréstamoparacompraruncocheparapoderirdecasaaltrabajo.

En lo que se refiere a la escala, el potencial delmodelo de reincidencia siguecreciendo.LamayoríadelosestadosdeEstadosUnidosloestánempleandoya,yelcuestionario LSI-R es la herramienta más extendida (utilizada en, al menos,veinticuatroestados).[33]ApartedelcuestionarioLSI-R,lascárcelessonunactivoyabarrotadomercado para los científicos de datos.El sistema penal está plagado dedatos,especialmenteporquelosreclusostienenaúnmenosderechoalaintimidadquelos demás ciudadanos. Además, el sistema es tan miserable, ineficiente, caro einhumano,yestá tanabarrotado,queestápidiendoagritosunamejora. ¿Quiénnoquerríaunasoluciónbaratacomoesta?

Lareformapenalesalgoextrañoenelmundopolíticopolarizadodehoyendía,es un tema en el que tanto los liberales como los conservadores son de lamismaopinión.Aprincipiosde2015,loshermanosconservadoresCharlesyDavidKochseunieronalthink-tankliberalCenterforAmericanProgressparapresionarafavordela reforma de las cárceles y reducir el número de reclusos. Pero tengo ciertassospechas:esprácticamenteseguroqueelesfuerzodeambospartidosparareformarlascárceles,juntoconmuchosotros,conduciráalaeficienciaylaaparentejusticiadeuna solución nutrida con datos. Es la era que nos ha tocado vivir. Aunque otrasherramientasacabenreemplazandoalLSI-RcomoprincipalADMdelsector,esmuyprobable que el sistema penitenciario sea una potente incubadora deADM a granescala.

www.lectulandia.com-Página27

Page 28: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Resumiendo,estossonlostreselementosqueconformanunADM:laopacidad,laescalayeldaño.Estostreselementosestaránpresentes,enmayoromenormedida,en losejemplosquevamosaver.Ysí, seadmitenobjeciones.Sepodríadecir,porejemplo,quelaspuntuacionesdereincidencianosoncompletamenteopacas,yaqueproducenpuntuacionesque los reclusospuedenver en algunoscasos.Noobstante,estas puntuaciones están rodeadas de misterio, porque los reclusos no pueden vercómosusrespuestasinfluyenenelresultado:elalgoritmoqueproducelapuntuaciónestáoculto.PuedequehayaotrasADMquenoparezcancumplirel requisitode laescala,Nosonenormes,oalmenosporahoranoloson.Y,sinembargo,sonespeciespeligrosasdeADM,listasparacrecer,ytalvezlohagandeformaexponencial.Poresolasincluyo.Y,porúltimo,veremosquenotodasestasADMsonuniversalmentedañinas.Al finy al cabo, envían a algunaspersonas aHarvard, asignanpréstamosbaratos o buenos empleos a otras personas y reducen las condenas de cárcel dealgunos afortunados. No obstante, la cuestión aquí no es si algunas personas sebeneficiandeellas,sinoelhechodequemuchassufrenporsucausa.Estosmodelos,impulsadosporalgoritmos,danconlapuertaenlasnaricesamillonesdepersonas,amenudoporlarazónmásabsurda,ynopermitenapelaciónalguna.Soninjustas.

Y otra cosa más sobre los algoritmos: pueden saltar de un sector a otro, y amenudo lo hacen. La investigación en epidemiología puede aprender de lasprediccionesdeléxitodetaquilladelaspelículas;secopianyreajustanlosfiltrosdespamparaidentificarelvirusdelsida.YestoocurretambiénconlasADM.Loquesignificaquesilosmodelosmatemáticosutilizadosenlascárcelesparecenfuncionarbien—loqueenrealidadsereduceaunagestióneficientedelaspersonas—,podríanextenderse por el resto de la economía junto con las demás ADM, lo que nosconvertiríaendañoscolaterales.

De eso se trata. Esta amenaza está creciendo.Y deberíamos aprovechar lo queocurrióenelmundodelasfinanzasparaextraeralgunaslecciones.

www.lectulandia.com-Página28

Page 29: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

I

02Conmocionada

Miviajehaciaeldesencanto

maginemosquetodaslasmañanas,eneltrayectoaltrabajo,antesdecogereltrendesdeJoliethastalaestacióndelacalleLaSalleenChicago,metemosdosdólares

en una máquina de café. La máquina nos devuelve siempre dos monedas de 25centavosyelcafé,peroundíanosdevuelvecuatromonedasde25centavos.Ytresvecesa lo largodelmessiguiente lamáquinadecafévuelveahacer lomismo.Seestádesarrollandounpatrón.

Puesbien,siestofueraunapequeñaanomalíaenlosmercadosfinancieros,ynoen una estación de trenes de cercanías, una analista cuantitativa de un fondo decobertura —alguien como yo— lo estudiaría con mucha atención. Para hacerlotendría que revisar años de datos, quizá décadas, y luego crearla un algoritmoquepredijera este error recurrente—unaalteraciónde50 céntimos en el precio—parapoder así apostarpor ello. Incluso lospatronesmás insignificantespueden suponermillonesdedólaresdegananciasparaelprimer inversorque losdescubra.Ydichoinversorseguiráobteniendobeneficioshastaqueocurraunadeestasdoscosas:oelfenómeno deja de repetirse o el resto del mercado se percata de él y entonces laoportunidaddesaparece.Paracuandoocurracualquieradeestasdoscosas,unbuenanalistayaestarásobrelapistadedocenasdeotraspequeñasirregularidades.

Labúsquedade loque los analistas llaman ineficienciasdelmercado separecemuchoa labúsquedadel tesoro,ypuedesermuydivertida.CuandoempecéenminuevotrabajoenD.E.Shaw,meparecióuncambioagradableconrespectoaloquehabía estado haciendo en el mundo académico. Aunque había disfrutado muchodandoclasesenBarnardyestabaapasionadaconlainvestigaciónsobrelateoríadelosnúmerosalgebraicos,meparecíaqueavanzabaconunadesesperantelentitud,Meapetecíaformarpartedelaceleradomundoreal.

Enesemomentopensabaquelosfondosdecobertura,tambiénllamadosfondosde gestión alternativa, eran entidades neutras desde el punto de vista ético (comomucho,podíasospecharquetalvezeranloscarroñerosdelsistemafinanciero).MesentíaorgullosadeempezaratrabajarenShaw,alaquellamabanelHarvarddelosfondosdecobertura,yqueríademostraralosquetrabajabanallíquemiinteligenciapodíatraducirseendinero.Además,ibaaganareltripledeloquehabíaganadocomoprofesora.Cuandoempecéatrabajarallínopodíasiquieraimaginarqueestenuevotrabajo me ofrecería un asiento de primera fila durante la crisis financiera y querecibiríaunaaterradoralecciónsobreloinsidiosasydestructivasquepuedenllegaraserlasmatemáticas.EnelfondodecoberturafuedondeviporprimeravezunADMdecerca.

www.lectulandia.com-Página29

Page 30: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Alprincipiohabíamuchascosasdelasquedisfrutar.EnShawtodoseregíaporlas matemáticas. En muchas empresas los gestores de fondos son las estrellas delespectáculo, cierran los grandes negocios, ladran órdenes a diestro y siniestro yconsiguen dividendos multimillonarios. Los analistas son sus subordinados. Sinembargo, en Shaw los gestores de fondos son pocomás que administrativos—losllamanejecutores—,mientrasquelosmatemáticossondueñosyseñores.Yoformabapartedeunequipodediezpersonas,el«grupodefuturos».Enunaempresaenlaquetododependedeloquepasemañana,¿quépodíasermásimportantequeesegrupo?

En nuestra empresa había unos cincuenta analistas en total, Al principio todoseranhombres,menosyo.Casitodoshabíannacidoenelextranjero.Muchoshabíantrabajadoenfísicaoenmatemáticasabstractas;yunospocos,comoyomisma,noshabíamos especializado en la teoría de los números. Puesto que nuestras ideas yalgoritmos constituían los cimientos del negocio del fondo de cobertura, era obvioque los analistas también representábamos un riesgo: si nos largábamos de allí,podíamos utilizar rápidamente nuestros conocimientos para ayudar a un fierocompetidor.

Paraevitarqueocurrieraalgoasíagranescala,aunaescalaquepudierallegarasuponerunaamenazaparalaempresa,Shawbásicamentenosprohibíahablarconloscompañeros de otros grupos —y a veces incluso con los compañeros de nuestrapropiaoficina—sobre loque estábamoshaciendo.En ciertomodo, la informaciónestabaconfinadaenunaestructuradecélulasenred,unaestructurasimilaraladeAlQaeda.Deestemodo, siunade lascélulas sederrumbaba—siunodenosotros selargabaaBridgewateroaJ.P.Morgan,oselomontabaporsucuenta—,elanalistaen cuestión solo se llevaría sus propios conocimientos. El resto de la actividad deShawpodríacontinuarsinverseafectada.Ycomocualquieracomprenderá,estetipodeprohibiciónnoeralomejorparafavorecerunambientedecamaraderíaentreloscompañeros.

En el grupo de futuros los nuevos nos turnábamos las guardias cada trecesemanas.Esosignificabaquelapersonaqueestabadeguardiadebíaestardisponiblepararesponderacualquierproblemainformáticoqueseprodujeramientrasestuvieraabiertoalgunodelosmercadosmundiales,desdeeldomingoporlanocheennuestrohusohorario,cuandoabríansuspuertas losmercadosasiáticos,hastaquesonabalacampana de cierre de la Bolsa de Nueva York a las 16.00 del viernes. Era difícilsoportarloporqueapenasnosquedaba tiempoparadormir.Aunque lopeorparamíera la impotenciaque sentía cuando intentaba solucionar losproblemasquehabíansurgidoenunaoficinaquenocompartíainformaciónconmigo.Porejemplo,sihabíaun algoritmo que no funcionaba bien, yo tenía que localizarlo primero y luegoencontraralapersonaacargodeesealgoritmoacualquierhoradeldíaodelanocheydecirleaél (ysiempreeraél)que loarreglara.Nosiempreeraunaconversaciónagradable.

www.lectulandia.com-Página30

Page 31: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Yluegoestabanlosmomentosdepánico.Durantelasvacaciones,cuandohabíapoco personal trabajando, solían pasar cosas extrañas. En nuestra enorme carterahabíatodotipodecosas,incluidoscontratosdedivisasaplazo,quebásicamenteeranpromesasdecomprargrandescantidadesdeunadivisaextranjeraalcabodeunparde días.Noobstante, en lugar de comprar la divisa extranjera, el gestor de fondossolía «renovar» la posición cada día para posponer la promesa un día más. Asímanteníamos nuestra apuesta sobre la dirección del mercado sin tener que llegarnunca a pagar realmente grandes cantidades de efectivo. Un día, durante lasNavidades,medicuentadequeunaimportanteposiciónenyenesjaponesesestabaapuntodevencer.Alguienteníaquerenovaresecontratoparaotrafecha.Deestosolíaencargarse un compañero que trabajaba en Europa y que supuestamente estaba encasaconsufamilia.Comprendíquesinohacíamosnadapronto,teóricamentealguientendríaquepresentarseenToldocongomillonesdedólaresenyenes.Resolvereseproblemasupusounascuantashorasdetrabajofrenéticoduranteaquellasfiestas.

Todosestosproblemaspodríanentrardentrodelacategoríaderiesgoprofesional,peroelproblemarealsurgióaraízdeunasensacióndesagradablequeempecéatenerenelestómago.Mehabíaacostumbradoanadarenestosocéanosdedivisas,bonosyvaloresderentavariableyentrelosbillonesdedólaresquefluíanporlosmercadosinternacionales,pero,alcontrariodeloqueocurríaconlosnúmerosdemismodelosacadémicos, las cifras de los modelos que utilizaba en el fondo de coberturarepresentabanalgo.Eranlashipotecasylosfondosdepensionesdemuchaspersonas.Mirandohaciaatrás,estoparececompletamenteobvioy,evidentemente,yolosabíatodoeltiempo,peronomehabíaparadoavalorarlanaturalezadeloscentavosylosdólaresconlosquejugábamosennuestrasherramientasmatemáticas.Noeradineroquenoshubiéramosencontrado,comolaspepitasdeorodeunaminaomonedasdeungaleónespañolhundido.Estariquezaveníadelosbolsillosde lagente.Para losfondos de gestión alternativa, las entidadesmás engreídas de todoWall Street, esecapitalnoeramásque«dinerobobo».

Ycuandolosmercadossehundieronen2008fuecuandocomprendí lahorribleverdad.Erainclusopeorquerobardinerobobodelascuentasdelagente,elsectorfinancieroestabaenelnegociodecrearADMyyoteníaunpequeñopapelentodoaquello.

Enrealidad, losproblemashabíanempezadounañoantes.Enjuliode2007lostiposdeinterés«interbancarios»empezaronasubir.Traslarecesiónquesiguióalosataquesterroristasde2001,lostiposdeinterésbajoshabíanalimentadounaburbujainmobiliaria.Parecíaquecualquierapodíaconseguirunahipoteca, lasconstructorasconvertían zonas muy alejadas de los municipios, desiertos y prados en nuevas yextensas urbanizacionesy los bancos apostaronmiles demillones en toda clasedeinstrumentosfinancierosvinculadosalaprosperidadinmobiliaria.

Sin embargo, estos crecientes tipos de interés eran un indicio de que habíaproblemas.Losbancoshabíandejadodeconfiarenlacapacidaddelosdemásbancos

www.lectulandia.com-Página31

Page 32: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

paradevolverlospréstamosdeundíaparaotro.Estabanempezandoacomprenderlapeligrosabasuraqueteníanensuscarterasyllegaronsabiamentealaconclusióndeque losdemás estaban expuestos almismo riesgoque ellosoquizá incluso amás.Mirandohaciaatrássepodríadecirquelassubidasdelostiposdeinterésfueronenrealidadunsíntomadesensatez,aunqueobviamentellegarondemasiadotarde.

EnShaw,estostemoresenfriaronlosánimosunpoco.Eraevidentequemuchasempresas ibanapasarlomal.El sector iba a llevarseungolpe,y tal vez fueraunobien gordo. Aunque, bueno, quizá no fuera problema nuestro. Nosotros no noszambullíamosdecabezaenmercadosderiesgo.Losfondosdecobertura,alfinyalcabo, cubrían inversiones. Esa era nuestra naturaleza. Al principio, llamamos a laturbulenciadelmercado«eljaleo».PuedequegeneraraalgunosdoloresdecabezaenShaw, tal vez incluso un par de episodios embarazosos, como cuando rechazan latarjeta de crédito de un rico en un restaurante elegante. Pero había muchasposibilidadesdequenonospasaranadagrave.

Losfondosdecobertura,al finyalcabo,no trabajabanenesosmercados,solojugaban con ellos. Por lo tanto, cuando el mercado estallara, como sabíamos queocurriría, surgirían grandes oportunidades de sus cenizas. Estos fondos no sacabanrealmenteprovechodequelosmercadossubieran,sinodepredecirlosmovimientosdelosmercados.Lacaídadelosmercadospodíaresultarigualmentelucrativa.

Para comprender cómo operan los fondos de cobertura en losmárgenes de losmercados, imaginemos Un partido de la Serie Mundial de béisbol en el estadioWrigleyFielddeChicago.Conunespectacularjonrónalfinaldelanovenaentrada,losChicagoCubsganansuprimercampeonatodesde1908,laépocaenlaqueTeddyRoosevelterapresidente.Elestadioirrumpeencelebraciones.Sinembargo,hayunafila de aficionados en la que no se mueve nadie, están analizando en silencio unmontónderesultados.Estaspersonasnohacenlastradicionalesapuestasporelquepierde o el que gana, sino que quizá hayan apostado a que los relevistas de losYankeestendríanmásbasesporbolasquestrikeouts,aqueenelpartidoseproduciríaalmenosun toquedebola,peronomásdedos,oaqueel abridorde losChicagoCubs aguantaría al menos seis entradas. Apuestan incluso a que otros ganarán operderánsusapuestas.Apuestanpormuchosmovimientosasociadosconelpartido,peronoapuestanmuchoporelpartidoensí.Yenestosecomportan igualque losfondosdecobertura.

Estoeraprecisamenteloquehacíaquenossintiéramosseguros,oalmenosmásseguros.Recuerdounagalaenhonordelosarquitectosdelsistemaqueestabaapuntodecolapsar.LaempresadabalabienvenidaaAlanGreenspan,elexpresidentedelaReservaFederal,yaRobertRubin,elexsecretariodelTesoroyantiguoejecutivodeGoldman Sachs. Robert Rubin había presionado para conseguir en 1999 que serevisara la Ley Glass-Steagall, aprobada en la época de la Gran Depresión y queregulabaelsectorbancario.Estarevisióneliminóelmurodecristalqueexistíaentrelastransaccionesdelabancadedepósitoylasdelabancadeinversión,loquefacilitó

www.lectulandia.com-Página32

Page 33: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

la orgía de especulaciones que tuvo lugar durante la década siguiente. Los bancospodíancrearpréstamos(muchosdeellosfraudulentos)yvenderlosasusclientesenformadevalores.Noeraalgodemasiadofueradelocomúnypodíaconsiderarseunservicio del banco a sus clientes. Sin embargo, una vez eliminada la Ley Glass-Steagall,losbancospodíanapostarcontralosmismosvaloresquehabíanvendidoasus propios clientes y a veces lo hacían. Esto generó montañas de riesgo… y uninfinitopotencialde inversiónpara los fondosdecobertura.Al finyal cabo,estosfondosapostabanporlosmovimientosdelmercado,tantodesubidacomodebajada,ylosmercadosteníanunritmofrenético.

Durante lagalaorganizadaporD.E.Shaw,AlanGreenspannosadvirtióde losproblemasdelostítuloscongarantíahipotecaria.Esterecuerdomeatormentaríamástarde cuando, un par de años después, me di cuenta de que Robert Rubin, queentonces trabajaba en Citigroup, había sido clave en la decisión de reunir unainmensacarteradeprecisamenteesetipodecontratostóxicos(unadelasprincipalescausasporlasqueCitigrouptuvoqueserrescatadoacostadeloscontribuyentes).

Junto a estas dos grandes figuras se sentaba Larry Summers, el protegido deRobert Rubin y socio a tiempo parcial de Shaw. Larry Summers había seguido aRobert Rubín hasta el Tesoro y posteriormente había sido nombrado rector de laUniversidaddeHarvard,EnHarvard,Summers tuvoproblemasconelprofesorado,que se había rebelado contra él porque sugirió que el hecho de que hubiera pocasmujeres en matemáticas y en las ciencias duras podía deberse a la inferioridadgenética,loqueéldenominóladistribucióndesigualde«lasaptitudesintrínsecas».

Cuando Larry Summers dimitió de su cargo en Harvard, aterrizó en Shaw,Recuerdo que David Shaw, el fundador de nuestro fondo de cobertura, dio undiscursodedicadoaesteprestigiosotríoybromeódiciendoqueeltrasladodeLarrySummersdeHarvardaShawhabíasidoun«ascenso».Losmercadospodíanhaberempezadoatambalearse,peroShawseguíaenlacimadelmundo.

No obstante, a medida que la crisis empeoraba, los socios de la empresaempezaronaperderpartedesufanfarronería.Alfinyalcabo,losmercadosestabaninterconectados.Porejemplo,circulabanrumoressobrelavulnerabilidaddeLehmanBrothers, que poseía el 20 % de D. E. Shaw y gestionaba muchas de nuestrastransacciones. A medida que aumentaban las sacudidas y los temblores en losmercados, en nuestra empresa empezó a reinar un ambiente de preocupación.Podíamoshacernúmerosconlomejordelomejor.Pero¿quéocurriríasieltemiblemañana que avistábamos en el horizonte no se parecía a nada de lo que habíamosconocido en el pasado? ¿Qué ocurriría si el mañana era completamente nuevo ydiferente?

Eso era loquenospreocupaba,porque losmodelosmatemáticos,por supropianaturaleza, sebasanen el pasadoy en lapremisadeque se repetirán lospatrones.Pocotiempodespués,elgrupoderentavariableliquidósusparticipacionesauncostesustancialysepusofinalprogramadecontrataciónconstantedenuevosanalistas,el

www.lectulandia.com-Página33

Page 34: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

programaquemehabíallevadoamíhastalaempresa.Aunqueelpersonalintentabatomarse a broma este nuevo ambiente, el miedo iba creciendo. Todas las miradasestaban fijas en los productos titulizados, especialmente en los títulos con garantíahipotecariadelosquenoshabíaadvertidoAlanGreenspan.

Durantedécadas,lostítuloscongarantíahipotecariahabíansidoloopuestoaalgoque diera miedo. Eran aburridos instrumentos financieros que los inversoresparticulares y los fondos de inversión por igual utilizaban para diversificar suscarteras. La idea que sustentaba esta estrategia era que la cantidad compensaba elriesgo.Cadahipotecaindividualconllevabalaposibilidaddeimpago:elpropietariode la vivienda podía declararse en bancarrota, lo que significaría que el banco nopodría recuperar nunca todo el dinero que había prestado. En el extremo opuestoestaba la posibilidad de que el propietario devolviera la hipoteca antes del plazoprevisto,loqueinterrumpiríalaentradadepagosdeintereses.

Demodoqueafinalesdeladécadade1980losbancosdeinversiónempezaronacomprarmilesdehipotecasyaempaquetarlasen títulos—unaespeciedebono,esdecir, un instrumento que paga dividendos de forma periódica, en muchos casostrimestralmente—. Como es obvio, algunos de los propietarios no pagaban sushipotecas,perolamayoríasemanteníaafloteyseguíapagandosushipotecas,loquegenerabaunflujoregularypredecibledeingresos.Coneltiempo,estosbonosfueroncreciendohastaconvertirseenunsectoraparte,unodelospilaresdelosmercadosdecapital.Losexpertosagrupabanlashipotecasendistintasclasesotramos.Algunosdeestostramosseconsiderabanmuyrobustos.Otrosconllevabanmayoresriesgos—ytipos de interés más altos—. Los inversores tenían razones para sentirse segurosporque lasagenciasdecalificacióncrediticia,Standard&Poor’s,MoodysyFitch,habíanestudiadolostítulosylesdabanunacalificaciónderiesgo.Losconsiderabaninversiones prudentes. No obstante, reflexionemos sobre la opacidad de estosinstrumentos. Los inversores no sabían en realidad nada sobre la calidad de lashipotecas incluidas en esos títulos. El único atisbo que tenían de lo que habíaescondido dentro provenía de las calificaciones de los analistas. Y estos analistascobraban sus honorarios de las mismas empresas cuyos productos estabancalificando.Lostítuloscongarantíahipotecaria,huelgadecirlo,eranunaplataformaidealparaelfraude.

Podemosexpresarloatravésdeunametáforamuyutilizadaenesteámbitoyqueseinspiraenlassalchichas.Imaginémonosquelashipotecassonpequeñostrozosdecarnedediversacalidadyquelostítuloscongarantíahipotecariasonlassalchichasque se obtienen al poner toda la carne junta, añadir algunos ingredientes y darlesforma.Evidentemente,haysalchichasdedistintascalidades,peroesdifícilsaberconsolomirarlasquétipodecarnellevandentro.Noobstante,comotienenunsellodelasautoridadessanitariasquedicequesonadecuadasparaelconsumo,nosolvidamosdelasposiblesdudas.

www.lectulandia.com-Página34

Page 35: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Comoelmundodescubriómástarde,lasempresashipotecariasganaronpingüesbeneficios durante la época de bonanza concediendo hipotecas para la compra deviviendasapersonasquenopodíanpermitírselo.Laestrategiaconsistíasimplementeen firmar hipotecas insostenibles, cobrarlas comisiones y luego soltar los títulosresultantes—lassalchichas—enelmercadodelostítuloshipotecariosenplenoauge.Enuncasotristementecélebre,AlbertoRamírez,queseganabalavidarecolectandofresasyganaba14.000dólaresalaño,consiguióunahipotecaparacomprarunacasade720.000dólaresenRanchoGrande(California).[34]Alparecer,suagente ledijoquepodríaconseguirrefinanciaciónalcabodeunosmesesydespuésrevenderlacasaysacarunbuenbeneficio.Mesesdespuésdejódepagarelpréstamo.

En el periodo previo al hundimiento del mercado inmobiliario, los bancoshipotecarios no solo ofrecían hipotecas insostenibles, sino que además buscabanactivamente a sus víctimas en los barrios pobres y las zonas habitadas por lasminorías.Enunjuiciofederal,losfuncionariosdeBaltimoreacusaronaWellsFargode dirigirse deliberadamente a barrios con población mayoritariamente negra paraofrecer allí los denominados préstamos de los guetos.[35] El departamento de«mercados emergentes» del banco, según un antiguo responsable de créditos delbanco, Beth Jacobson, concentraba sus esfuerzos en las iglesias con feligreses decolor.[36]Laideaeraquelospastores,enlosquelacongregaciónconfiaba,animaríana los feligreses a solicitar un préstamo. Estos préstamos eran siempre hipotecassubprime (dealto riesgo),que tienen los tiposde interésmásaltosdelmercado.Elbanco vendía sistemáticamente este tipo de hipotecas en estos barrios, incluso apersonasqueteníanunasólidasolvenciacrediticiayquedeberíanhaberaccedidoapréstamos en condicionesmuchomejores.CuandoBaltimore presentó la demanda,en2009,másde lamitadde los inmuebles enprocesodeejecuciónhipotecarianoestaban habitados y el 71%de ellos estaban situados en barriosmayoritariamenteafroamericanos.[37]En2012,WellsFargollegóaunacuerdoconlosdemandantesysecomprometióapagar175millonesdedólaresa30.000víctimasdetodoelpaís.[38]

Debemos ser claros: lashipotecas subprime que se acumularondurante el augeinmobiliario,concedidastantoarecolectoresdefresadeCaliforniacomoafeligresesnegros a losque les costaba llegar a findemes, no eranADM.Eran instrumentosfinancieros,nomodelos,yteníanmuypocoqueverconlasmatemáticas(dehecho,losagenteshipotecarios tuvieronqueesforzarsemuchopara ignorar los incómodosnúmeros).

Sin embargo, cuando los bancos empezaron a cargarlas hipotecas como la deAlberto Ramírez en distintas clases de títulos para venderlas, sí que utilizaronmodelosmatemáticos defectuosos. Elmodelo del riesgo asociado a los títulos congarantía hipotecaria era unADM.Los bancos sabían que algunas de las hipotecasentrarían en impago, pero confiaron en dos falsos supuestos que mantuvieron suconfianzaenelsistema.

www.lectulandia.com-Página35

Page 36: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

El primer falso supuesto era pensar que en todas estas empresas habíamatemáticosdeprimerahaciendonúmerosycompensandocuidadosamenteelriesgo.Losbonoserancomercializadoscomoproductoscuyoriesgohabíasidoevaluadoporespecialistas que empleaban los algoritmos más vanguardistas, perodesgraciadamenteestonoeraasí.AligualqueocurrecontantísimasotrasADM,lasmatemáticassepresentabananteelconsumidorcomounameracortinadehumo.Supropósitoeraúnicamenteoptimizarlosbeneficiosacortoplazodelosvendedores.YLos vendedores confiaban en que podrían deshacerse de los títulos antes de queexplotaran.Loslistossaldríanganando.Ylosbobos,losqueentreganeldinerobobo,acabarían con miles de millones (o billones) de pagarés impagables. Incluso losmatemáticosmásrigurosos—yhabíaunoscuántos—trabajabanconnúmerosquelessuministraban personas que estaban llevando a cabo un fraude a gran escala.Muypocas personas contaban con los conocimientos especializados y la informaciónnecesaria para saber lo que realmente estaba ocurriendo desde el punto de vistaestadísticoylamayoríadelosquesílosabíannoteníanlaintegridadsuficienteparadenunciar la situación. Las calificaciones de riesgo de los títulos habían sidodiseñadasdeliberadamentepararesultaropacasymatemáticamente intimidantes,enparteconelpropósitodeasegurarsedeque loscompradoresnopercibiríanelnivelrealderiesgoasociadoaloscontratosquecompraban.

Elsegundofalsosupuestoeraquenoseproduciríanmuchos impagosalmismotiempo.Estesupuestosebasabaenlateoría,prontorefutada,dequelosimpagoseranen general sucesos aleatorios y no relacionados entre sí. Esta teoría condujo a lacreenciadequelashipotecasmásrobustascompensaríanlosimpagosdentrodecadatramo.Losmodelosderiesgoestabanasumiendoqueelfuturonoseríadiferentedelpasado.

Para vender estas obligaciones con garantía hipotecaria, los bancos necesitabancalificacionescrediticiasde tripleA.Yparaconseguirlas,pidieronayudaa las tresagenciasdecalificacióncrediticia.Conlaexpansióndelmercado,lacalificacióndelcreciente mercado de miles de millones de dólares de valores hipotecarios seconvirtióenungrannegocioparalasagencias,conelqueganabancomisionesmuylucrativas. Las agencias se volvieron adictas a estas comisiones y comprendieronrápidamentequesisuscalificacioneseraninferioresalatripleA,losbancosseiríana la competencia. Así que decidieron cooperar. Otorgaron más importancia a lasatisfaccióndelclientequea laprecisiónde susmodelos.Estosmodelosde riesgotambiéncrearonsupropiobuclederetroalimentaciónpernicioso.LascalificacionesAAA en productos defectuosos se convirtieron en dólares. Los dólares crearonconfianzaenlosproductosyenelprocesodetrampasymentirasquelosfabricaba.Elcicloresultantedeintercambiodefavoresyacumulacióndebeneficioseralabasedelfuncionamientodeestesórdidonegociohastaqueexplotó.

De las trescaracterísticasclavede lasADM, laqueconvirtióestosmodelosderiesgoenunafuerzamonstruosadedimensionesglobalesfuelaescala.Siemprehan

www.lectulandia.com-Página36

Page 37: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

existidoestafadores,evidentemente,yenotrasburbujas inmobiliariasanteriores loscompradores habían acabado descubriendo que poseían parcelas de ciénagas omontonesdeescriturasfalsas.Noobstante,enestaocasión,elpoderdelainformáticamodernaimpulsóelfraudehastaunaescalasinprecedentesenlahistoria.Eldañosetrasladó a otros grandes mercados que habían crecido en torno a los títulos congarantía hipotecaria: permutas de riesgo crediticio y obligaciones garantizadas pordeuda (CDO, por sus siglas en inglés). Las permutas de riesgo crediticio eranpequeñaspólizasdeseguroquetransferíanelriesgodeunaobligación.Laspermutasdabanalosbancosyalosfondosdecoberturaporigualunasensacióndeseguridad,yaquesupuestamentepodíanutilizarlasparaequilibrarelriesgo.Noobstante,silasentidadesqueteníanestaspólizasdeseguroseibanalgarete,queesloqueocurriócon muchas de ellas, la reacción en cadena crearía montones de agujeros en laeconomíamundial.Lasobligacionessintéticasgarantizadaspordeuda ibanunpasomás allá: eran contratos cuyo valor dependía de la rentabilidad de las permutas deriesgo crediticio y de los títulos con garantía hipotecaria. Y esto permitía a losingenierosfinancierosapalancarsusapuestasaúnmás.

En 2007 el mercado estaba en pleno auge (y poco después se derrumbó) yrepresentaba3billonesdedólaresenhipotecassubprime,yelmercadoentornoaél—incluidas laspermutasderiesgocrediticioy lasCDOsintéticas,queaumentabanlosriesgos—eraveintevecesmayor.Ningunaeconomíanacionalpodíacompararseaestosmercados.

Paradójicamente,lossupuestamentepotentesalgoritmosquecrearonelmercado,losqueanalizabanelriesgoentramosdedeudaylosdistribuíanentítulos,resultaroninútiles cuando llegó el momento de poner orden en el desastre y calcular lo querealmentevalían todos esospapeles.Lasmatemáticas podíanmultiplicar la basura,pero no eran capaces de descifrarla. Eso era algo que solo podían hacer los sereshumanos.Únicamente las personas podían examinar cuidadosamente las hipotecas,extraerlasfalsaspromesasylasilusionessinfundamentoycolocarlosdólaresconvalor auténtico en los préstamos. Fue un proceso arduo, porque la gente —alcontrario que lasADM—no puedemultiplicar su trabajo de forma exponencial ygranpartedelsectornoloconsiderabaunatareaprioritaria.Duranteestainterminabledesintoxicación, el valor de la deuda—y de las viviendas de las que dependía ladeuda—nohizomásquecaer,comoesobvio.Ycuandolaeconomíacayóenpicado,inclusolospropietariosquesípodíanpermitirsesushipotecasalprincipiodelacrisisderepenteseencontrabantambiénenriesgodeimpago.

Como ya he mencionado, Shaw escapó por los pelos del epicentro delhundimientodelmercado.Pesea todo,cuandootrosactoresempezaronacaer,nospusimos frenéticamenteadeshaceroperacionesqueafectabana loque teníamosennuestros libros.Estoprodujounefectocascadayaprincipiosdelsegundosemestrede2008estábamosperdiendodineroaespuertas.

www.lectulandia.com-Página37

Page 38: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Durante los siguientes meses, el desastre finalmente se extendió a toda laeconomía. Fue entonces cuando al fin empezamos a fijarnos en las personas queestabanalotro ladode losalgoritmos.Eranpersonasdesesperadasqueperdían suscasasymillonesdeestadounidensesquesequedabansinempleo.Lamorosidadenlastarjetasdecréditoalcanzómáximosrécord.Elserhumanoquesufría,quehabíaestadoocultoalavistadetrásdelosnúmeros,lashojasdecálculoylascalificacionesderiesgo,sehizopalpable.

EnShawteníamoslosnerviosaflordepiel.TraslacaídadeLehmanBrothersenseptiembrede2008, todoelmundohablabade las consecuenciasque tendría en lapolítica. Parecía que Barack Obama podía ganar las elecciones en noviembre.¿Machacaría al sector con nueva normativa? ¿Subiría los impuestos sobre losintereses obtenidos? Nosotros no perderíamos nuestras casas ni tendríamos queexprimir al máximo nuestras tarjetas de crédito simplemente para mantenernos aflote, pero también teníamos muchas preocupaciones. No nos quedaba otra queesperar, dejar que los grupos de presión hicieran su trabajo y ver si nos permitíancontinuarcomosiempre.

En 2009 ya resultaba obvio que las lecciones del hundimiento delmercado nohabían cambiado el rumbo del mundo de las finanzas ni habían inculcado nuevosvalores en él. Los grupos de presión lograron casi todos sus propósitos y el juegosiguiósiendoelmismo:hacermalabarismoscondinerobobo.Salvandounascuantasnormasqueañadíanalgunosobstáculosquehabríaqueevitar,todocontinuóigual.

Este drama marcó el inicio de mi viaje hacia el desencanto. Estabaparticularmente decepcionada por el papel que habían jugado los matemáticos entodo esto. Me vi obligada a afrontar la terrible verdad: los matemáticos habíanblandido deliberadamente sus fórmulas para impresionar en lugar de para explicar.Eralaprimeravezquemeencontrabaconesteconceptotóxicoymeentraronunasganasterriblesdeescapar,devolveratráseneltiempoalmundodelaspruebasyloscubosdeRubik.

Asíqueen2009dejémitrabajoenelfondodecoberturaconvencidadequedebíaayudar a arreglar elADM financiera. La nueva normativa obligaba a los bancos acontrataraexpertosindependientesparaanalizarelriesgodesusentidadesyempecéa trabajar enunade las empresas encargadasdeestos análisis,RiskMetricsGroup,cuyas oficinas estaban situadas una manzana al norte de Wall Street. Nuestroproductoeraunaluvióndenúmeros,ycadaunodeellospredecíalaprobabilidaddeque un tramo concreto de títulos o productos básicos se fuera al traste durante lasemanasiguiente,elañosiguienteoloscincoañossiguientes.Cuandotodoelmundoapuestapor todo loque semueveenelmercado,una lectora inteligentedel riesgotieneunenormevalor.

Paraelcálculodelriesgo,nuestroequipoempleabaelmétodoMonteCario.Paraexplicarlo, imaginemos que hacemos girar la rueda de un casino 10.000 veces ytomamosnotadelresultadocadavez.AlutilizarelmétodoMonteCarlo,cogeríamos

www.lectulandia.com-Página38

Page 39: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

los datos históricos delmercadoy los aplicaríamos amiles de escenarios posibles.¿Cuálseríalacotizacióndelacartearaqueestamosestudiandoencadasesiónbursátila partir de 2010, o desde 2005? ¿Sobreviviría a los díasmás oscuros de la crisis?¿Cuál es la probabilidad de que surja una amenaza mortal para esa cartera en elpróximo año o en los próximos dos años? Para calcular estas probabilidades, loscientíficos de datos llevaban a cabo miles de simulaciones. Había muchas quejassobreestemétodo,peroeraunamanerafácildeconseguirlidiarconelriesgo.

Mitrabajoconsistíaenactuardeintermediariaentrenuestraunidaddegestiónderiesgoy losmayoresymásexpertosentendidosdel riesgo, los fondosdecoberturacuantitativos.Yollamabaporteléfonoalosfondosdecoberturaoellosmellamabanamí,yrepasábamoslasdudasquetuvieransobrenuestrosnúmeros.Noobstante,confrecuenciasolomellamabancuandohabíaalgúnerrorennuestrascifras.Lociertoesquelosfondosdecoberturasiempresehabíanconsideradolosmáslistosdeladasey,dado que entender el riesgo era esencial para su existencia, nunca confiabancompletamenteendesconocidoscomonosotros.Ellosteníansuspropiosequiposdeanálisis de riesgo y solo compraban nuestro producto para quedar bien ante losinversores.

Yo me encargaba también de contestar al teléfono de la línea de atención alclienteyaveces teníaque respondera laspreguntasde losclientesde losgrandesbancos.Deseososderepararsuruinosaimagen,queríanqueelpúblicolospercibieracomoentidadesresponsables,queesprecisamentelarazónporlaquellamaban.Sinembargo,alcontrarioquelosfondosdecobertura,estosdientesnomostrabanningúninteréspornuestrosanálisis.Elriesgodesuscarteraseraalgoqueparecíanignorar.Duranteeltiempoqueestuvetrabajandoenatenciónalcliente,tuvelasensacióndeque a todos los que nos dedicábamos a advertir del riesgo nos veían como aauténticos aguafiestas o, incluso peon como a una amenaza para la cuenta deresultados del banco. Esto era así incluso después del catastrófico hundimiento de2008 y no resulta difícil entender por qué. Si sobrevivieron a eso—porque erandemasiadograndescomoparacaer—,¿porquérazóntendríanquepreocuparseporelriesgodelacarteraahora?

El rechazo a reconocer el riesgo está profundamente arraigado en las finanzas.Losgestoresdefondosson losquedefinen laculturadeWallStreet,yel riesgoesalgoqueintentansubestimaractivamente.Estoesasuvezconsecuenciadirectadelaformaenlaquesedeterminalahabilidaddeungestordefondos,esdecir,su«índicedeSharpe»,quesecalculadividiendolosbeneficiosqueelgestordefondosgeneraentrelosriesgosincluidosensucartera.Esteíndiceescrucialparalacarreradeungestordefondos,subonificaciónanualeinclusoelpropiosentidodesuexistencia.Sidespersonificamosalosgestoresdefondosylosvemoscomosifueranunconjuntode algoritmos, esos algoritmos están implacablemente dedicados a optimizar suíndicedeSharpe.Lo idealseríaquesubieraconstantemente,oalmenosquenuncacayera demasiado. Por tanto, si uno de los informes de riesgo de las permutas de

www.lectulandia.com-Página39

Page 40: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

riesgo crediticio hiciera que subiera de golpe el cálculo del riesgo de una de lasparticipaciones clave del gestor, su índice de Sharpe se desplomaría. Esto podríacostarlecientosdemilesdedólaresensubonificaciónafinaldelaño.

Poco después comprendí que mi trabajo en realidad consistía simplemente enponer un sello de conformidad sin que hubiera un escrutinio real. En 2011 habíallegadoelmomentodevolveracambiarydescubríquehabíaunmercadoenormeencrecimiento para matemáticos como yo. Añadí tres palabras a mi currículo, meautoproclamé«científicadedatos»yenseguidaestuvelistaparazambullirmeenlaeconomíadeInternetFuiapararaunastart-updeNuevaYorkllamadaintentMedia.

Mi trabajo consistía en crearmodelos para anticipar el comportamiento de losinternautas que visitaban distintos sitios web de viajes. La cuestión clave eradeterminarsiunapersonaqueentrabaenelsitiowebdeExpediaestabasimplementecurioseandoosi realmente ibaagastardinero.Losqueno teníanprevistocomprarnadateníanunvalormuypequeñoentérminosdeingresospotenciales,porloquelesmostrábamosanuncios similaresde lacompetencia,como lasagenciasdeviajesenlíneaTravelocityuOrbitz.Sihacíanclicenelanuncio,nosganábamosunoscuantospeniques,queeramejorquenada.Noobstante,nodebíamospresentarestosanunciosa los auténticos compradores. Si nos equivocábamos en esto, podíamos acabarganandodiezcentavoseningresosporpublicidadmientrasenviábamosalosclientespotencialesanuestrosrivales,dondequizágastaranmilesdedólaresenhabitacionesdehotelenLondresoTokio.Haríanfaltamilesdeclicsenanunciosparacompensaraunquefuerasoloenpartelascomisionesperdidas.Poresoeracrucialconseguirqueesoscompradoressequedaranconnosotros.

Elretoqueteníaantemíconsistíaendiseñarunalgoritmoquedistinguieraalaspersonas que solo estaban mirando de los auténticos compradores. Había algunosindiciosevidentes.¿Habíaniniciadosesión?¿Quéhoraera?¿Quédíadelaño?Hayalgunassemanasquesonespecialmentefuertesparaloscompradores.Porejemplo,elboomdelDíadelosCaídos(últimolunesdemayoenelqueserecuerdaaloscaídosen la guerra), a mediados de primavera, es un momento en el que muchísimaspersonas están planeando sus vacaciones de verano casi al unísono.Mi algoritmodabaunvalorelevadoaloscompradoresenesosperiodos,yaqueeramásprobablequerealizaranlacompraenesosdías.

Resultó que el trabajo estadístico era fácilmente transferible del fondo decoberturaalcomercioelectrónico;laprincipaldiferenciaconsistíaenque,enlugardepredecirlosmovimientosdelosmercados,ahorapredecíalosclicsdelosinternautas.

De hecho, encontré innumerables paralelismos entre las finanzas y elbig data.Ambos sectores extraen a su personal de las mismas reservas de talento, en granmedida de universidades de élite comoMIT, Princeton o Stanford. Estos jóvenesempleados están desesperados por tener éxito y han dedicado toda su vida a lamétricaexterna—comolasnotasdelexamenSATparaelaccesoalauniversidadylasadmisionesen lasuniversidades—. Independientementedequehayanestudiado

www.lectulandia.com-Página40

Page 41: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

finanzasotecnología,elmensajequehanrecibidoesqueseránricos,quedirigiránelmundo. Su productividad indica que están en el buen camino y eso se traduce endólares, lo que les lleva a la engañosa conclusión de que todo lo que hagan paraconseguir más dinero estará bien. «Añade valor». Si no fuera así, ¿por qué iba apremiarloelmercado?

En ambas culturas, la riqueza ha dejado de ser un medio de vida. Estádirectamenterelacionadaconelvalordelapersona.Unjovendeunazonaresidencialde las afueras con todas las ventajas —una educación secundaria privada, unaexhaustivapreparaciónparalosexámenesdeaccesoalauniversidad,unsemestreenelextranjeroenParísoShanghái—siguecreyendoenlailusióndequehansidosuscompetencias, su trabajo duro y sus prodigiosas habilidades para la resolución deproblemasloquelohaimpulsadohastaalcanzarunmundodeprivilegios.Eldinerodisipatodaslasdudas.Yelrestodesucírculocoincideplenamenteconél,conloqueacabancreandounasociedaddeadmiraciónmutua.Quierenconvencernosatodosdeque estamos ante un ejemplo evidente de darwinismo, cuando desde fuera resultaobvioquesetratadeunamezcladetrampasenelsistemaypurasuerte.

Elmundoreal,contodosudesorden,esconsideradoporestosdossectorescomoun mundo aparte. Tienden a sustituir a las personas por rastros de datos y aconvertirlas así en compradores, votantes o trabajadores más eficaces con elpropósitodeoptimizar ciertosobjetivos.Es fácildehaceryde justificar cuandoeléxito llega como puntuación anónima y las personas afectadas son tan abstractascomolosnúmerosquevanpasandoporlapantalla.

EnelperiodoenelqueestuvetrabajandocomocientíficadedatosyaescribíaenunblogycolaborabacadavezmásconelmovimientoOccupyWallStreet.Crecíamipreocupaciónporlaseparaciónentrelosmodelostécnicosylagentereal,asícomopor las consecuenciasmorales de esa separación.De hecho, veía cómo emergía elmismopatróndelquehabíasidotestigoenelsectorfinanciero:unafalsasensaciónde seguridad conducía al uso generalizado de modelos imperfectos, definicionesinteresadas del éxito y crecientes bucles de retroalimentación. Los que se oponíaneran tachados de retrógrados como los luditas que se resistieron al uso de lasmáquinasdurantelaRevoluciónIndustrialporquedestruíanempleo.

Me preguntaba cuál sería la analogía de la crisis crediticia en el sector delbigdata. En lugar de la quiebra, veía una creciente distopía y el aumento de lasdesigualdades. Los algoritmos se asegurarían de que aquellos a los que seconsiderabacomoperdedoressiguieransiéndolo.Unaminoríaafortunadaganaríauncontrol aúnmayor sobre la economíadedatos, amasaría exorbitantes fortunasy serepetiríaasímismaunayotravezqueselomerece.

Despuésdeunpardeañostrabajandoyaprendiendoeneluniversodelbigdata,habíacompletadomiviajehaciaeldesencanto,yelmalusode lasmatemáticas seaceleraba.Apesardeescribirenelblogcasiadiario,mecostabamantenermealdíacon todo lo que descubría sobre las distintas formas en las que se manipulaba,

www.lectulandia.com-Página41

Page 42: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

controlabaeintimidabaalagentemedianteelusodealgoritmos.Empecéexplicandolasituacióndelosdocentesqueestabansufriendobajoelyugodelmodelodelvalorañadido, pero no me detuve ahí. Profundamente alarmada, dejé mi empleo paradedicarmeainvestigareltemamásenserio.

www.lectulandia.com-Página42

Page 43: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

S

03Carreraarmamentística

Iralauniversidad

inossentamosacenarconunosamigosenciertasciudades—SanFranciscoyPortland, por mencionar dos ejemplos—, descubrimos fácilmente que

compartirunasracionesresultaabsolutamenteimposible.Nohabrádospersonasentornoa lamesaquecoman lomismo.Todas tienendietasdiferentes,desde ladietavegana hasta distintas variedades de la dieta paleolítica, y todos tienen una feabsoluta en su respectiva dieta (aunque solo sea durante un mes o dos). Ahoraimaginemosqueunadeesasdietas,porejemplo,ladietadelhombredelascavernas,seconvirtieraenelestándarnacionalentodoEstadosUnidos;imaginemosque330millonesdepersonassiguieransusdictados.

Los efectos serían dramáticos. Para empezar, con una única dieta nacional laeconomíaagrícolaselasveríanegras.Lademandadecarnesyquesosautorizadossedispararía,conloquelospreciossubirían,mientrasquelossectoresprohibidosporladieta, como la soja y las patatas, se hundirían completamente. La diversidad sereduciría.Lossufridosproductoresdealubiasconvertiríansuscamposenpastosparavacas y cerdos, incluso en suelos poco apropiados para ello. El ganado adicionalconsumiría enormes cantidades de agua.Y, obviamente, amuchos de nosotros nosfastidiaríanopodercomerotrosalimentos.

¿QuérelaciónpuedetenerunaúnicadietanacionalconlasADM?Laescala.Unafórmula,yaseaunadietaouncódigotributario,puedeserperfectamenteinocuaenteoría.Noobstante,sicrecehastaconvertirseenelestándarnacionalomundial,creaunaeconomíadistorsionadaydistópicapropia.Yestoes loquehaocurridocon laeducaciónsuperior.

Todo empezó en 1983. Ese fue el año en el que una revista de noticias endificultades,US.News&WorldReport,decidióllevaracabounambiciosoproyecto;evaluar1800facultadesyuniversidadesdetodoEstadosUnidosyclasificarlassegún$11 grado de excelencia. El resultado sería una herramientamuy útil que, si teníaéxito,podríaayudaramillonesde jóvenesa tomar laprimeragrandecisiónde susvidas. En muchos casos, esta decisión determina la carrera profesional de unapersona,lallevaaconoceraamigosparatodalavidayconfrecuencia,inclusoasucónyuge. Además, los editores esperaban que el número en el que publicarían elrankingdeuniversidadespudieraconvertirseenungranéxito.Talvez,esasemana,U.S,Newsconseguiríaigualarasusgigantescosrivales,TimeyNewsweek.

Pero ¿qué información se utilizaría para establecer este nuevo ranking? Alprincipio,elpersonaldeUS.Newsbasótodassuspuntuacionesenlosresultadosdelasencuestasdeopiniónqueenviaronalosrectoresdelasuniversidades.[39]Stanford

www.lectulandia.com-Página43

Page 44: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

quedó como la primera universidad del país yAmherst como lamejor facultad dehumanidades.Elrankingtuvomuchoéxitoentreloslectores,perovolviólocosalosrectores demuchas universidades. Llegaron cientos de quejas a la revista diciendoque la clasificación era injusta. Muchos rectores, estudiantes y antiguos alumnosinsistieronenquemerecíanunamejorpuntuación.Loúnicoque teníaquehacer larevistaeraanalizarlosdatos.

Durante los años siguientes, los editores deU. S. News intentaron decidir quépodíanmedir.Asíescomoempiezanmuchosmodelos,conunaseriedecorazonadas.Elprocesonoescientíficoe incluyeescasos rudimentosdeanálisis estadístico.Enestecaso,sereunióaungrupodepersonasparareflexionarsobrequéelementoseranlos más importantes en la educación, considerar después cuáles de esas variablespodíancontaryfinalmentedecidirquépesoespecíficoasignarleacadaunadeellasenlafórmula.

Enlamayoríadelasdisciplinaselanálisisquenutreunmodeloexigiríamuchomás rigor. En agronomía, por ejemplo, los investigadores pueden comparar losaportes—el suelo, la luz solar y el abono— con los resultados, que serían rasgosespecíficos en los cultivos resultantes. A partir de ahí podrían experimentar yoptimizarelprocesoenfuncióndesusobjetivos,yafueranestoselprecio,elsaboroel valor nutricional. Esto no significa que los agrónomos no puedan crear ADM.Puedenhacerlo y, de hecho, lo hacen (especialmente cuandoomiten considerar losefectosalargoplazoydegranalcancedelospesticidas).Noobstante,dadoquesusmodelos,ensumayoría,estánestrechamenterelacionadosconresultadosconcretos,sonidealesparalaexperimentacióncientífica.

Los periodistas de U. S. News, sin embargo, se estaban enfrentando a la«excelencia educativa», un valormuchomás abstracto que el coste delmaíz o losmicrogramosdeproteínasdecadamazorca.Nodisponíandeningunaformadirectadecuantificarcómounprocesodecuatroañosafectabaaunúnicoestudianteyaúnmenos de cuantificar cómo este proceso afectaba a millones de ellos. No podíanmedirelaprendizaje, lafelicidad, laconfianzaenunomismo, lasamistadesyotrosmuchosaspectosqueconformanlaexperienciadeunestudiantealolargodecuatroaños.ElidealdelaeducaciónsuperiordelpresidenteLyndonJohnson—«uncaminohacia una realización personal más profunda, unamayor productividad personal yunamayorgratificaciónpersonal»—noencajabaensumodelo.

En lugar de buscar ese ideal, tomaron valores sustitutivos que parecían estarcorrelacionadosconeléxito.AnalizaronlaspuntuacionesdelexamendeaccesoalauniversidadSAT, las ratiosdealumnosporprofesory los índicesdeaceptacióndesolicitudes. Analizaron el porcentaje de estudiantes de primer año que pasaban alsegundocursoyelporcentajedealumnosquesegraduaban.Calcularonelporcentajedeantiguosalumnosquedonabandineroasualmamater,suponiendoquesihacíandonativosa launiversidadseríaporquevaloraban laeducaciónquehabían recibidode ella. Tres cuartos del ranking eran producidos por un algoritmo—una opinión

www.lectulandia.com-Página44

Page 45: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

formalizadaenunprograma—queincorporabaestosvaloressustitutivos.Enelotrocuarto se tenían en cuenta las opiniones subjetivas de los empleados de lasuniversidadesdetodoelpaís.[40]

Elprimer ranking deU.S.News basado en datos fue publicado en 1988 y losresultados parecían razonables. No obstante, cuando el ranking se convirtió en elestándar nacional, apareció un bucle de retroalimentación vicioso.El problema eraquelospropiosrankingssereforzabanasímismos.SiaunauniversidadleibamalenU.S.News, su reputación sufríapor elloy las condiciones sedeterioraban.Losmejores estudiantes la evitaban, al igual que los mejores profesores. Los antiguosalumnossequejabanyrecortabansusdonativos.Ylaclasificacióndelauniversidadempeorabaaúnmás.Elranking,enpocaspalabras,eraeldestino.

Enelpasado,losrectoresdelasuniversidadeshabíanempleadodistintasformasdemedir su éxito, muchas de ellas anecdóticas. Los estudiantes ponían a algunosprofesores por las nubes. Algunos antiguos alumnos hacían ilustres carreras comodiplomáticosoempresarios.Otrospublicabannovelaspor lasqueganabanpremiosliterarios.Todoestogenerabaunbocaabocapositivo,quepotenciabalareputacióndelauniversidadencuestión.Pero¿eraMacalestermejorqueReed?¿OIowamejorque Illinois? Era difícil saberlo. Las universidades eran como distintas clases demúsica,odiferentesdietas.Habíaespacioparaopinionesdiversas, conargumentosválidos en cada una de ellas. Ahora el extenso ecosistema de la reputación de lasuniversidadesquedabaeclipsadoporunaúnicacolumnadenúmeros.

Si analizamos este cambio desde la perspectiva del rector de una universidad,resultabastantetriste.Sinduda,lamayoríadeellosadoraronsupropiaexperienciaenlauniversidad—esofueenparteloquelosmotivóasubirenelescalafónacadémico—.Y,sinembargo,ahíestaban,enlacumbredesuscarrerasydedicandocantidadesingentesdeenergíaamejorarelrendimientoenquinceáreasdefinidasporungrupode periodistas de una revista de noticias de segunda. Era como sí volvieran a serestudiantes de nuevo y tuvieran que esforzarse por conseguir que un profesor lespusierabuenasnotas.Dehecho,estabanatrapadosenunmodelorígido,unADM.

SilalistadeU.S.Newshubieraobtenidounéxitomoderado,nohabríasupuestoningúnproblema.Sinembargo,crecióhastaconvertirseenuntitán,yrápidamenteseconsolidó como estándar nacional. Y desde entonces ha estado confundiendo anuestro sistema educativo, con una rígida lista de tareas pendientes, tanto para losrectorescomoparalosestudiantes.ElrankingdeuniversidadesdeU.S.Newstieneunaenormeescala,causadañosgeneralizadosygeneraunaespiral interminabledebucles de retroalimentación destructivos. A pesar de no ser tan opaco como otrosmuchosmodelos,siguesiendounaauténticaADM.

Algunosrectoreshanhechodesesperadosesfuerzospormejorarsuclasificación.LaUniversidadBaylorpagóalosestudiantesyamatriculadoslatasadeexamendelSAT para que repitieran el examen,[41] con la esperanza de que al hacerlo unasegundavezsacaríanmejorespuntuaciones,ydequeasímejoraríalaclasificaciónde

www.lectulandia.com-Página45

Page 46: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

launiversidad.Pequeñasuniversidadesdeélite,comolaUniversidaddeBucknellenPensilvania y la Universidad Claremont McKenna de California, enviaron datosfalsos aU. S. News: enviaron mejores puntuaciones del SAT de sus alumnos deprimerañodelasquerealmentehabíantenido.[42]YelIonaCollege,enNuevaYork,reconoció en 2011 que sus empleados habían maquillado los números enprácticamente todas las secciones: las puntuaciones de los exámenes, la tasa dealumnosqueconsiguenplazay la tasade licenciados, elporcentajedealumnosdeprimerañoquepasanasegundoaño,laratiodealumnosporprofesoryelnúmerodeantiguosalumnosquehacíandonaciones.[43]Mentirlessalióbien,almenosduranteun tiempo,U. S. News estimó que los datos falsos habían llevado a lona desde elquincuagésimo lugarhastaelpuestonúmero treintadentrode lasuniversidadesdelnorestedelpaís.

Lamayoría de los rectores buscaron formasmenos indignantes demejorar susclasificaciones.Enlugardehacertrampas,trabajaronduroparamejorarcadaunodelos indicadores que conformaban su puntuación. Podían defender su actuacióndiciendoqueasísegarantizabaunusomáseficientedelosrecursos,Alfinyalcabo,sitrabajabanparamejorarsusresultadosenelalgoritmodeU.S.News,conseguiríanrecaudar más dinero, atraer a mejores estudiantes y profesores y seguir escalandopuestosenlalista.¿Teníanrealmentealgunaotraalternativa?

RobertMorse,quellevatrabajandoenU.S.Newsdesde1976yestáalfrentedelgruporesponsabledeelaborarlosrankingsdeuniversidades,hadeclaradoenvariasentrevistas que los rankings animaban a las universidades a definir metassignificativas. Si conseguían mejorar el porcentaje de alumnos que se gradúan oreducir la ratioen lasclases,el resultadoerapositivo.Laeducaciónsalíaganando.Admitióquelosdatosmásimportantes—loquelosestudianteshabíanaprendidoencada universidad— eran inaccesibles, pero elmodelo deU. S. News, construido apartir de datos sustitutivos, era la segunda mejor manera de evaluar a lasuniversidades.

Noobstante,cuandosecreaunmodeloapartirdevaloressustitutivos,esmuchomás fácil hacer trampas, ya que son más fáciles de manipular que la complejarealidadque representan.Veamosunejemplo. Imaginemosqueunsitiowebquierecontrataraunexpertoenredessociales.Muchaspersonaspresentaránsucandidaturayenviaráninformaciónsobrelasdistintascampañasdemarketingquehanrealizado.Sinembargo,setardademasiadotiempoenbuscaryevaluartodoesetrabajo,porloquelapersonaresponsabledelacontratacióndefineunvalorsustitutivo.Tendrámásen consideración a los candidatos que tengan un mayor número de seguidores enTwitter.Esoesseñaldeestarmuymetidoenlasredessociales,¿noescierto?

Bueno,pareceunvalorsustitutivobastanterazonable.Pero¿quéocurrirácuandosecorralavoz,cosaquesegurosucede,dequetenermuchosseguidoresenTwitteresla clave para conseguir un empleo en esta empresa?Los interesados harán todo loposible por disparar su número de seguidores en Twitter. Algunos pagarán 19,95

www.lectulandia.com-Página46

Page 47: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

dólaresporunservicioquellenasuscuentasconmilesdeseguidores,lamayoríadeellosgeneradospor robots.Cuando seempiezanahacer trampasenel sistema, losvalores sustitutivos pierden efectividad. Los tramposos aparecen como falsospositivos.

En el caso de los rankings de U. S. News, todo el mundo —desde futurosestudiantes hasta antiguos alumnos, pasando por los departamentos de recursoshumanosde lasempresas—aceptó inmediatamentesusistemadepuntuacióncomounamedidadelacalidaddelaeducación.Conloquelasuniversidadeslessiguieronlacorrientee intentaronmejorarencadaunade lasáreasquemedían losrankings.Muchasuniversidadessesentíanenrealidadparticularmentefrustradasconel25%delrankingsobreelquenoteníanningúncontrol:lapuntuaciónporreputación,queproveníadeloscuestionariosqueseenviabanalosrectoresydecanos.

Estapartedel análisis, como la recopilaciónde cualquier otraopiniónhumana,incorporabasinduda ignoranciayprejuicioschapadosa laantigua.Estapartesolíaprotegeralasuniversidadesfamosasenlosprimerospuestosdelalistaporqueesaseranlasuniversidadesquelagenteconocía.Yestohadaquefueramásdifícilparalasuniversidadesemergentesescalarpuestosenelranking.

En 2008, la Universidad Cristiana de Texas (TCU, por sus siglas en inglés),situadaenFortWorth,llevabavariosañosseguidosperdiendopuestosenelrankingde U. S. News.[44] Había estado en el número 97 tres años antes, pero habíaretrocedidohastaelnúmero105,luegoal108,yestabayaenel113.Estoinquietabaalosantiguosalumnosyalosdefensoresdeestauniversidadypusoalrector,VictorBoschini, en el punto de mira. «Todo esto es muy frustrante para mí», declaró elrector a la página web de noticias del campus, TCU 360. Insistió en que laUniversidadCristianadeTexasavanzabaentodoslosindicadores.«Hemosmejoradoelporcentajedealumnosquepasanasegundoañoynuestrarecaudacióndefondos,todoloquemiran».

HabíadosproblemasenelanálisisdeVictorBoschini.Enprimerlugar,elmodelodeclasificacióndeUS.Newsnojuzgabalasuniversidadesdeformaaislada.Inclusolas universidades que hubieran mejorado sus cifras caerían a puestos inferiores siotras universidades avanzaban con mayor rapidez. Para expresarlo en términosacadémicos,elmodelodeU.S.Newsclasificabaalasuniversidadesenunacurva.Yestoalimentóloqueseconvirtióenunacrecientecarreraarmamentística.

Elotroproblemaeralapuntuaciónporreputación,el25%quelaTCUnopodíacontrolar. Raymond Brown, el decano responsable de la admisión de estudiantes,comentóque lareputaciónera lavariableconmayorpeso,«loqueresultaabsurdo,porque es completamente subjetiva»[45] Wes Waggoner, director a cargo de laadmisión de los estudiantes de primer año, añadió que las universidades se hacíanpublicidadentresíparamejorarsupuntuaciónporreputación.«Reciboenelcorreomensajesdeotrasuniversidadesqueintentanconvencer[nos]delobuenasqueson»,declaróWesWaggoner.

www.lectulandia.com-Página47

Page 48: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Apesardeestasquejas,laTCUsepreparóparamejorarel75%delapuntuaciónquesípodíacontrolar.Alfinyalcabo,siconseguíanincrementarlapuntuacióndelauniversidad, su reputación acabaría mejorando también. Con el tiempo, las demásuniversidades se percatarían de la evolución y le daríanmejores puntuaciones. Loimportanteeraempezaratomarmedidasenladirecciónadecuada.

LaTCUlanzóunacampañaconelobjetivoderecaudar250millonesdedólares.[46]Logrósuperarconmuchoelobjetivoquesehabíafijadoyalañosiguientehabíarecibidoya434millonesdedólares.EsteúnicohechomejorómucholaclasificacióndelaTCU,yaquelarecaudacióndefondosesunodelosfactoresquesevaloran.Launiversidad gastó gran parte del dinero en mejorar el campus, incluidos los 100millones de dólares invertidos en el paseo central y en un nuevo edificio para laasociación de estudiantes con el propósito de que la TCU fuera un destino másatractivoparaestos.Evidentemente,nohaynadamaloenello,aunqueoportunamentecontribuye a un buen resultado en el algoritmo de U. S. News. Cuantos másestudiantessolicitaranplazaenlauniversidad,másselectivapodíaserlauniversidad.

Y quizá lo más importante fuera que la TCU construyó unas modernasinstalacionesdeportivase inyectó recursosenelprogramade fútbol americano.Enlosañossiguientes,elequipodefútbolamericanodelaTCU,losHornedFrogs,seconvirtióenunapotenciaaescalanacional.En2010completaron la temporadasinperderunsolopartidoyganaronaWisconsinenelfamosopartidodelestadioRoseBowl.

Yasí laTCUsebeneficiódel llamado«efectoFlutie».En1984, enunode losmás emocionantes partidos de fútbol americano universitario, un quarterback deBostonCollege,DougFlutie,logróenelúltimosegundounpaselargo«AveMaría»con el que venció a la Universidad de Miami. Doug Flutie se convirtió en unaleyenda.Enmenosdedosaños,lassolicitudesdeplazaquerecibíaBostonCollegehabían aumentado un 30 %.[47] La Universidad de Georgetown experimentó esemismo crecimiento cuando su equipo de baloncesto, impulsado porPatrickEwing,jugótresfinalesdelcampeonatonacionaluniversitario.Segúnparece,losprogramasdeportivosuniversitariosconequiposqueganancampeonatossonlapublicidadmásefectivaparaatraeraalgunosalumnos.Paramultituddealumnosdeúltimocursodeinstituto que tienen un perfil deportista y que siguen las competiciones deportivasuniversitarias en la televisión, las universidades con grandes equipos resultanmuyatractivas. Los estudiantes llevan con orgulloso la camiseta de la universidad, sepintan lacaracon loscoloresde suequipoydisfrutancelebrandosusvictorias.Alrecibir más solicitudes de plaza, los rectores pueden ser más exigentes con losrequisitosyaumentarasílapuntuaciónmediadelexamendeaccesodelosalumnosdeprimeraño.Estotambiénmejoralaclasificacióndelauniversidad.Ycuantasmássolicitudesrechacelauniversidad,menorserásutasadeaceptación(ymejorserásusituaciónenelranking).

www.lectulandia.com-Página48

Page 49: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

La estrategia de la TCU funcionó. En 2013 era la segunda universidad másselectivadeTexas,detrásúnicamentedelaprestigiosaUniversidadRicedeHouston,Esemismoañoregistrólamáximapuntuacióndetodasuhistoriaenlosexámenesdeacceso SAT y ACT. Su clasificación en la lista deU. S. News subió.[48] En 2015alcanzóelpuestonúmero76,loquesuponíaunaescaladade37puestosensolosieteaños.

Pese a mis críticas al modelo de U. S. News y a su condición de ADM, esimportante recordar que esta extraordinaria escalada en los rankings puede haberbeneficiadoalaTCUAlfinyalcabo,casitodoslosvaloressustitutivosdelmodelodeU.S.News reflejan en ciertamedida la calidad general de cada universidad, aligualqueamuchaspersonaslesvagenialconladietadelhombredelascavernas.ElproblemanoeselmodelodeU.S.Newsensí,sinosuescala.Obligaatodoelmundoaperseguirexactamentelosmismosobjetivos,loqueconduceaunacarreradelocosytieneunsinfíndeconsecuenciasnocivasnointencionadas.

Enlosañosanterioresalosrankings,porejemplo,losalumnosquesepreparabanparairalauniversidadpodíandormirmástranquilossabiendoquehabíansolicitadoplaza en alguna de las llamadas «universidades seguras», a saber, universidadescuyos requisitos de acceso eran menos exigentes. Si no conseguían entrar en susprimerasopciones,esdecir,lasuniversidadesquehabíansolicitadoporprobarsuerte(queestabanporencimadesusposibilidades)ylasquerepresentabanapuestasmásajustadasalarealidad(lasuniversidadesenlasquepensabanquesípodríanentrar),sabían que recibirían una educación perfectamente aceptable en una de esasuniversidades seguras (y confiaban en que quizá incluso conseguirían cambiarse aunadelasuniversidadesqueteníanentresusprimerasopcionesalcabodeunoodosaños).

Elconceptodeuniversidadseguracasihadesaparecidoenlaactualidad,graciasparcialmentealrankingdeU.S.News.ComohemosvistoenelejemplodelaTCU,para conseguir una buena clasificación es bueno ser selectivo. El que la secretaríarecibaungrannúmerodesolicitudesseráinterpretadocomounaseñaldequeenesauniversidad se estánhaciendobien las cosas.Esunapruebade la reputaciónde launiversidadYsiunauniversidadpuedepermitirserechazaralagranmayoríadeloscandidatos, lo más probable es que acabe teniendo una mejor categoría deestudiantes. Al igual que otros muchos valores sustitutivos, este indicador parecetenersentido.Reflejalosmovimientosdelmercado.

Sin embargo, es posible manipular este mercado. Una universidad seguratradicional, por ejemplo, puede analizar sus datos históricos y comprobar que solounapequeñafraccióndelossolicitantesconmejoresnotasacabaronmatriculándoseallí.Lamayoríadesuscandidatosconsiguieronentrarenlasuniversidadesenlasquehabíansolicitadoplazaporprobarsuerteoenlasqueteníanposibilidades,conloquenonecesitaronrecurriralauniversidadsegura,supólizadeseguros.Conelobjetivode mejorar su puntuación por ser selectiva, la universidad segura puede decidir

www.lectulandia.com-Página49

Page 50: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

rechazaraloscandidatosexcelentesque,segúnsupropioalgoritmo,sonlosqueconmayorprobabilidadnoacabaránmatriculándoseallí.Esteprocesonoesenabsolutoprecisoylauniversidad,apesardeltrabajodesarrolladoporloscientíficosdedatosde la secretaría, seguramente acabará perdiendo un cierto número de excelentesestudiantesquesíquehabríanoptadopormatricularseallí.Yesosestudiantessonlosquedescubren,parasuconsternación,quelasdenominadasuniversidadessegurasyanosonunaapuestasegura.

Este enrevesadoprocesono es nadapositivopara la educación,Launiversidadsufre;pierdealosmejoresestudiantes,lasestrellasquehacenquelaexperienciaseamejor para todos, incluidos los profesores. De hecho, es posible que la antiguauniversidad segura ahora tenga que dedicar parte de sus escasas becas a atraer aalgunasdeesasestrellasasucampus,loquepuedetraducirseenmenosdineroparalosalumnosquemáslonecesitan.

***

Este punto es precisamente donde encontramos las principales deficiencias delrankingdeuniversidadesdeU.S.News.Losvaloressustitutivosquelosperiodistaseligieron para determinar la excelencia educativa tienen sentido, es cierto. Noobstante, su espectacular fracaso proviene, sin embargo, de lo que decidieron noconsiderar;elcostedelamatrículaylastasasuniversitarias.Dejaronlafinanciacióndelosestudiantesfueradelmodelo.

Estonosllevaalapreguntacrucialquetendremosqueconsiderarunayotravez:¿cuál es el objetivo de las personas que han creado el modelo? En este caso,pongámonos en el lugar de los editores deU. S. News en 1988, Cuando estabancreando su primermodelo estadístico, ¿cómo sabrían si había funcionado bien?Elmodelo tendríamuchamás credibilidad desde el principio si reflejaba la jerarquíaestablecida.SiHarvard,Stanford,PrincetonyYaleaparecíanenlosprimerospuestos,estopodríavalidarsumodelo,alreplicarlosmodelosinformalesqueellosmismosysusdientesteníanenlacabeza.Paraconstruirdichomodelo,loúnicoqueteníanquehacereraanalizarlasqueseconsiderabanlasmejoresuniversidadesymedirloquelas hacía tan especiales. ¿Qué tenían esas universidades en común que lasdiferenciabadelasuniversidadessegurasdeunaciudadcercana?Paraempezar,susestudiantes habían sacado altísimas puntuaciones en el examen de acceso SAT ycompletabansusestudiosacursoporañocomounreloj.Losantiguosalumnoseranricosydonabanmontonesdedineroasusuniversidades.Alanalizarlasvirtudesdelas universidades de primera, el equipo de calificación creó un patrón elitista paramedirlaexcelencia.

Ahora bien, cuando incorporaban el coste de la educación en la fórmula, losresultadossecomportabandeformaextraña.Lasuniversidadesbaratasseabríanpasoenlajerarquíadelaexcelencia,Estopodíadarlugarasorpresasysembrardudas.El

www.lectulandia.com-Página50

Page 51: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

públicopodríatomarseabromalosrankingsdeU.S.News.Eramuchomásseguroempezarcon losvenerablescampeonesen lomásalto.Obviamentecuestanmuchodinero,peroquizáfueraeseelpreciodelaexcelencia.

Aldejarelcostefueradelafórmula,escomosiU.S.Newshubieraentregadoalos rectores de las universidades una chequera de oro. Habían recibido elmandamientodemaximizarelrendimientoenquinceáreasdiferentes,peromantenerun bajo nivel de costes no era una de ellas. De hecho, si subían los precios,obtendríanmásrecursosparamejorarlasáreasenlasqueselesmedía.

Desdeentonces,elpreciodelamatrículasehadisparado.Entre1985y2013,elcostedelaeducaciónsuperiorhaaumentadomásdeun500casicuatroveceslatasadeinflación.[49]Paraatraeralosmejoresestudiantes,lasuniversidades,comovimosen el caso de la TCU, se han entregado al auge de la construcción y han erigidoedificios con paredes de cristal, residencias de lujo y gimnasios con rocódromos ypiscinasdehidromasaje.Todoestoseríamaravillosoparalosestudiantesytendríanmejoresexperienciasenlauniversidadsinotuvieranquepagarporelloenformadepréstamosdeestudiosqueseránunacargaparaellosdurantedécadas.Nopodemosculpar de esta tendencia únicamente a los rankings deU. S. News. Toda nuestrasociedadsehaentregadosinreservas,nosoloalaideadequeesesencialrecibirunaeducación universitaria, sino también a la convicción de que un título de unauniversidadbiensituadaenlosrankingspuedecatapultaraunestudianteaunavidadepoderyprivilegios.ElADMdeU.S.Newssealimentódeestascreencias,miedosyneurosis.Creópoderososincentivosquehanfomentadoelgastoal tiempoquesehacíalavistagordaconlarápidasubidadelasmatrículasylastasasuniversitarias.

ParaposicionarsemejorenlaslistasdeU.S.News,lasuniversidadesgestionanalapoblaciónestudiantilcomosiestuvieranfrenteaunacarteradeinversión.Veremosque esto se repite con frecuencia en el mundo de los datos, en sectores como lapublicidadolapolíticaporigual.Paralosrectoresdelasuniversidades,cadaposibleestudianterepresentaunaseriedeactivosyhabitualmenteunpardepasivostambién.Unagrandeportista,porejemplo,seríaunactivo,peropuedequesupuntuaciónenelexamendeacceso seabajaoqueestuviera entre laspeoresde supromoción.Esosseríansuspasivos.Paraequilibrarlacartera,loidealseríaencontrarotroscandidatosquepuedanpagarselamatrículaytenganmuybuenaspuntuacionesenelexamendeacceso.Sinembargo,esoscandidatosideales,unavezqueseleshaadjudicadounaplaza,puedendecidirmatricularseenotrauniversidad.Estorepresentaunriesgo,quetambién debe ser cuantificado. Todo esto resulta aterradoramente complejo, con loque ha dado lugar a la aparición de un nuevo sector de consultoría dedicado a«optimizarelreclutamientodeestudiantes».

Noel-Levitz, una empresa consultora del sector de la educación, ofrece unpaquetedeanálisispredictivodenominadoForecastPlus,quepermitealosrectoresclasificar a los estudiantes que solicitan plaza en sus universidades por geografía,género,origenétnico,ámbitodeestudio,posiciónacadémicadentrodelapromoción

www.lectulandia.com-Página51

Page 52: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

o«cualquierotracaracterísticaquedesee».[50]Otraconsultora,RightStudent,recopilay vende datos para ayudar a las universidades a buscar a los candidatos másprometedores. Entre ellos están los estudiantes que pueden pagar la matrículacompleta, así como otros que cumplen los requisitos para recibir una beca de otraentidad. Para algunos de estos estudiantes, tener diagnosticada una dificultad deaprendizajeesunplus.

Todaesta actividad sedesarrolladentrodeunamplio ecosistemaque rodea losrankingsdeU.S.News,cuyomodelofuncionadefactocomolalegislaciónnacional.SiloseditoresreajustanlaponderacióndelosvaloresdelmodeloyreducenelpesodelaspuntuacionesdelSAT,porejemplo,oaumentanlaimportanciadelastasasdegraduación,elecosistemadelaeducaciónensuconjuntotendráqueadaptarseaello.Yestoafectatantoalasuniversidadescomoalasconsultoras,losdepartamentosdeorientacióndelosinstitutosy,obviamente,tambiénalosestudiantes.

Naturalmente,losrankingsensísonunnegocioalalza.LarevistaU.S.News&WorldReport,quedurantemucho tiempo fue laúnicaactividadde laempresa, fueperdiendo fuelle y dejó de imprimirse en 2010. Sin embargo, el negocio de lasclasificacioneshaseguidocreciendo,ysehaextendidoalasfacultadesdemedicina,las facultades de odontología y los programas de posgrado en humanidades eingeniería.U.S.Newspublicarankingsinclusodelosinstitutos.

Amedidaquecrecenlosrankings,crecentambiénlosesfuerzosporengañarlos.EnunrankingdelasmejoresuniversidadesdetodoelmundoquepublicóU.S.Newsen2014,eldepartamentodeMatemáticasdelaUniversidadReyAbdulazizdeArabiaSaudi quedó séptimo, justo después de Harvard.[51] El departamento existía desdehacíasolodosaños,perodealgúnmodohabía logradosaltarporencimadevariostitanesdelasmatemáticas,incluidosCambridgeyelMIT.

A primera vista, puede parecer un cambio positivo. Puede que el MIT yCambridgeestuvieranrelajadamenteviviendodelasrentasdesufamamientrasqueuna potencia insurgente y trabajadora se había abierto camino hasta la élite. Si sehubieratratadodeunrankingexclusivamentebasadoenlareputación,esecambiotanradicalhabríatardadodécadasenproducirse,peroconlosdatoslassorpresaspuedenbrotardeundíaparaotro.

Noobstante, losalgoritmos tambiénsepuedenmanipular.LiorPachter,biólogocomputationaldeBerkeley,estudióelcasoydescubrióquelauniversidadsaudíhabíacontactadoaunmontóndematemáticoscuyostrabajosteníanunelevadonúmerodecitasyleshabíaofrecidouncontratode72.000dólarescomoprofesoresadjuntos.Elacuerdo, según una carta de reclutamiento que Lior Pachter publicó en su blog,estipulabaque losmatemáticos tendríanque trabajar tressemanasalañoenArabiaSaudí.Launiversidadcubriríasusgastosdeviajeenclasebusinessylosalojaríaenun hotel de cinco estrellas. Posiblemente, el que estos matemáticos trabajaran enArabiaSaudí añadiría valor localmente, pero la universidad también les exigíaquecambiaran su afiliación en el sitioweb de citas académicasThomsonReuters, una

www.lectulandia.com-Página52

Page 53: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

referenciaclaveparalosrankingsdeU.S.News.Estosignificabaquelauniversidadsaudí podía reclamar las publicaciones de sus nuevos profesores adjuntos comopropias. Y dado que las citas eran uno de los principales datos de entrada delalgoritmo,laUniversidadReyAbdulazizescalóalomásaltodelosrankings.

***

LosestudiantesdelaciudadchinadeZhongxiangerancélebresporbordarelexamenestándarnacionalgaokaoyporconseguirplazaenlasmejoresuniversidadesdelpaís.Conseguían tan buenos resultados que las autoridades empezaron a sospechar quehacían trampas.[52] Las sospechas aumentaron en 2012, según la información delperiódicobritánicoTelegraphcuandolasautoridadesdelaprovinciaencontraron99copiasidénticasdeunmismoexamen.

Al año siguiente, cuando los estudiantes de Zhongxiang llegaron a lasinstalacionesenlasqueibanahacerelexamen,quedaronconsternadosaldescubrirque tenían que pasar por detectores demetales y que les obligaban a entregar susteléfonosmóviles.AlgunosentregarontransmisoresminúsculosqueparecíangomasdeborranUnavezdentrodelassalasdeexamen,losestudiantesestuvieronvigiladospor56 investigadoresdedistintosdistritosescolares.Algunosde los investigadoresdescubrieronenunhotelalotroladodelacalleavariaspersonasposicionadasparacomunicarseconlosestudiantesatravésdelostransmisores.

Larespuestaaestasdurasmedidasfueexplosiva.Unosdosmilmanifestantessereunieron en la calle delante del edificio lanzando piedras y gritando: «Queremosjusticia.Nohayjusticiasinopodemoshacertrampas».

Suena a broma, pero lo decían completamente en serio. En el examen habíamuchísimoen juego.Era laoportunidadde teneraccesoaunaeducacióndeéliteyuna carrera próspera o, de lo contrario, se quedarían para siempre en su ciudaddeprovincias,un lugaratrasadoysinperspectivas.Y fueraonoverdad,ellosestabanconvencidosdequelosdemásestudianteshacíantrampas.Poreso,desdesupuntodevista, impedirles hacer trampas era injusto. En un sistema en el que lo normal eshacer trampas, seguirlas reglas es una desventaja.Nohaymás que preguntar a losciclistasdelTourdeFranciaque fueronaplastadosdurante siete años seguidosporLanceArmstrongysuscompañerosdeequipodopados.

Laúnicamaneradeganareneste tipodeescenariosesconseguirunaventajayasegurarsedequelosdemásnoconsiguenunaventajamayor,YestonoocurresoloenChina:tambiénsedaenEstadosUnidos,dondelosresponsablesdeadmisionesensecundaria, lospadresylosestudiantesquedanatrapadosporsuspropiosfrenéticosesfuerzosporengañaralsistemaengendradoporelmodelodeU.S.News.

Sehageneradounnuevoyprósperosectordeclasesdeprofesoresparticularesytutoresgraciasalbuclederetroalimentacióndelmodeloyalaansiedadquegenera.Muchosdeelloscobranuna fortuna.Un«campamentoparamejorar lasolicitudde

www.lectulandia.com-Página53

Page 54: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

plaza» de cuatro días de duración organizado por la empresaTopTierAdmissionscuesta 16.000 dólares (alojamiento y comidas aparte).[53] Durante las sesiones, losjóvenesalumnosdesecundariamejoransuestiloderedacción,aprendena«bordar»una entrevista y crean una «ficha de actividades» en la que resumen todos lospremios, actividades deportivas, participaciones en clubes y trabajos comunitariosquelosresponsablesdeadmisiónenlasuniversidadesandanbuscando.

Dieciséismil dólares parecemucho dinero, pero al igual que en el caso de losmanifestanteschinosenZhongxiang,amuchasfamiliasestadounidenseslesinquietaqueeléxitoylarealizacióndesushijosenelfuturodependadequeseanaceptadosenunauniversidaddeélite.

Losprofesoresparticularesmáseficacescomprendenlosmodelosdeadmisióndecada universidad, lo cual significa que entienden cómo encajaría un posibleestudiante. Un empresario con sede en California, Steven Ma, lleva este enfoquebasadoenelmercadohastaelextremo.StevenMa,fundadordeThinkTankLearning,introduce los datos de los futuros estudiantes en su propio modelo y calcula laprobabilidaddequeconsiganplazaenlasuniversidadesenlasquedeseanentrar.[54]Explicó a la revista Bloomberg Businessweek, por ejemplo, que un estudiante deúltimocursodesecundarianacidoenEstadosUnidos,conunanotamediade3,8enel expediente (sobre un máximo de 4), una puntuación de 2000 en el examen deacceso a la universidad SAT y 800 horas de actividades extracurriculares tiene un20,4%deprobabilidadesdeentrarenlaUniversidaddeNuevaYorkyun28,1%deprobabilidadesdeconseguirplazaenlaUniversidaddelSurdeCalifornia.ThinkTankofrecepaquetesdeconsultoríagarantizadosysieseestudiantehipotéticocontrataelcoachingdelaconsultoríayconsigueplazaenlaUniversidaddeNuevaYork,deberápagar25.931dólares,o18.826sientraenlaUniversidaddelSurdeCalifornia.Sinoconsigueentrar,nolecobraránnada.

Los modelos de admisión de todas las universidades derivan, al menosparcialmente,delmodelodeU.S.News,ycadaunodeellosesunamini-ADM.Estosmodelos vuelven locos a los estudiantes y a sus familias y los empujan a gastarobscenas cantidades de dinero. Y son modelos opacos. Lo que significa que lamayoríadelosparticipantes(ovíctimas)nosabennadasobreellos.Yestogeneraungran negocio para los consultores que se las arreglan para descubrir sus secretos,comoStevenMa,yaseadandountratoespecialasusfuentesdentrodelaspropiasuniversidadesoaplicandoingenieríainversaasusalgoritmos.

Las víctimas, obviamente, son la gran mayoría de los estadounidenses, lasfamiliaspobresydeclasemediaquenopuedengastarmilesdedólaresencursosyconsultores.Notienenaccesoalapreciadainformaciónprivilegiada.Yelresultadoesunsistemaeducativoquefavorecealosprivilegiados.Esunsistemaqueactúaencontradelosestudiantesmásnecesitados,excluyendoalagranmayoríadeellos(yempujándolosporuncaminoqueconducealapobreza).Esunsistemaqueagravalabrechaentrericosypobres.

www.lectulandia.com-Página54

Page 55: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

No obstante, incluso los que consiguen abrirse paso a toda costa hasta unauniversidaddeélite salenperdiendo.Sinosparamosapensarlo,esevidentequeeljuegodelaadmisiónenlasuniversidades,aunqueresultamuylucrativoparaalgunos,no tieneprácticamenteningúnvaloreducativo.Lacomplejay tensapreparaciónnohacemásqueordenaryclasificaralmismogrupodejóvenesdedieciochoañosunayotra vez según la moda de cada momento. Los alumnos no aprenden a dominarcompetencias importantes mientras pasan por el aro de todos los requisitos, nimientras se esfuerzan por escribir redacciones meticulosamente dirigidas a ciertasuniversidadesbajolaatentamiradadelostutoresprofesionales.Todosellos,tantolosricos como la clase trabajadora, se forman solo para encajar en una enormemaquinaria:parasatisfaceraunADM.Yal finaldeeste suplicio,muchosdeellosestaránhastaarribadedeudasquetardarándécadasendevolver.Sonpeonesenunacarreraarmamentística,yesunacarreraparticularmentedespiadada.

¿Y haymanera de arreglar este desaguisado? Durante su segundomandato, elpresidente Obama sugirió que habría que crear un nuevo modelo de ranking deuniversidades,unoquerespondieramejoralasprioridadesnacionalesyalosmediosdelaclasemediaquelaversióndeU.S.News.[55]Susegundoobjetivoeraquitarlespodera lasuniversidadesprivadasconánimode lucro(unaplagasacacuartosde laquehablaremosenelsiguientecapítulo),LaideadeObamaconsistíaenvincularunsistema de ranking de universidades a un conjunto diferente de indicadores, queincluyera la accesibilidad económica, el porcentaje de estudiantes pobres y deminoríasyelempleodespuésdegraduarse.Al igualqueelrankingdeU.S.News,también consideraría la tasa de graduación. Sería un sistema en el que lasuniversidades que cayeran por debajo del umbral mínimo en estas categoríasquedarían fuera del mercado de préstamos para estudiantes de 180 millones dedólaresalañodelGobiernofederal(conelquelasuniversidadesprivadasconánimodelucrosehanestadodandounfestínenlosúltimosaños).

Efectivamente,todosestosobjetivosparecenmuyloables,perotodoslossistemasderankingpuedenmanipularse,Ycuandoesoocurre,segenerannuevosydiferentesbuclesderetroalimentaciónymultituddeconsecuenciasnointencionadas.

Es fácil incrementar las tasas de graduación, por ejemplo, bajando el nivel.Muchosestudiantestienendificultadesconelnivelprevioexigidoenmatemáticasycienciasyconlosidiomasextranjeros.Sisebajaelniveldeexigenciaenesasáreas,muchos más estudiantes completarán sus estudios. Sin embargo, si uno de losobjetivosdenuestrosistemaeducativoesproducirmáscientíficosytecnólogosenelcontextode laeconomíaglobal, ¿qué sentido tieneeso?También seríapancomidopara las universidades incrementarlos sueldos medios de sus antiguos alumnos.Bastaríacon reducirlascarrerasdehumanidadesydeshacersede losdepartamentosdeEducaciónydeTrabajoSocial,yaqueseponenahacerlimpieza.Alfinyalcabo,losmaestrosylostrabajadoressocialesgananmenosquelosingenieros,losquímicos

www.lectulandia.com-Página55

Page 56: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

ylosingenierosdesistemas,aunqueesonosignificaqueseanmenosvaliososparalasociedad.

Tampocolescostaríamuchoreducircostes.Unaideaqueyaestáganandociertapopularidadesbajarelporcentajedeprofesorestitularesysustituiraestepersonaltancaro cuando se jubila por docentes más baratos o profesores adjuntos. En ciertosdepartamentosdealgunasuniversidadespuedequetengasentidohaceralgoasí,peroesto también tiene un precio. Los profesores titulares, en colaboración con losestudiantesdeposgrado,impulsanimportantesinvestigacionesydefinenelniveldesus departamentos, mientras que los profesores adjuntos, siempre con prisas, quequizátenganquedarclasesdecincoasignaturasdiferentesentresfacultadesdistintasparapoder pagar el alquiler, rara vez tienen el tiempoo la energía necesarios parahaceralgomásque impartirunaeducaciónbásica.Otraposiblesoluciónconsistiríaeneliminarpuestosadministrativosinnecesarios,aunqueestoesmuypocofrecuente.

Elnúmerode«alumnosconempleonuevemesesdespuésdelicenciarse»tambiénpuedemanipularse.UnartículodelNewYorkTimesde2011estudiabaelcasodelasfacultades de derecho, que ya están siendo evaluadas por su capacidad paraposicionarasusestudiantesenunabuenacarreraprofesional.[56]Imaginemosqueunabogado recién salido de la universidad, con una deuda de 150.000 dólares enpréstamosdeestudios,trabajadebaristaenunacafetería.Paraalgunasfacultadesdederecho sin escrúpulos investigadas por el Times, ese estudiante contaba comoantiguoalumnoconempleo.Algunas facultades ibanaúnmásalláyofrecíana suspropioslicenciados,justoalacercarselafechacrucialdelosnuevemeses,contratostemporalesporhoras.Otrosenviabancuestionariosa los licenciadosen losúltimosañosycontabanatodoslosquenocontestabancomo«conempleo».

***

QuizáfueramejorparatodosquelaadministraciónObamanoconsiguieramontarunsistemaderankingmodificado.Laresistenciadelosrectoresdelasuniversidadesfueferoz. Al fin y al cabo, han pasado décadas optimizando sus universidades parasatisfacer al ADM de U. S. News. Una nueva fórmula basada en la tasa delicenciados,laratiodealumnos,elempleoylarentadelosantiguosalumnosyotrosvaloresnuevospodríahacerestragosensuclasificaciónysureputación.Seguroquetambién expusieron argumentos de peso sobre las vulnerabilidades de un nuevomodeloylosnuevosbuclesderetroalimentaciónquepodríagenerar.

AsíqueelGobiernocapituló.Ypuedequeelresultadofinalhayasidoaúnmejor.Enlugardecrearunnuevoranking,elDepartamentodeEducaciónestadounidensepublicómontonesdedatosenunsitioweb.Yahoralosestudiantespuedenhacersuspropiaspreguntassobreloquelesinteresaaellos,comolaratiodealumnos,latasade licenciados y la deuda media de los estudiantes al terminar sus estudios. Nonecesitan tenerconocimientosdeestadísticanisaber laponderaciónde lasdistintas

www.lectulandia.com-Página56

Page 57: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

variables.El propio software, al igual que hacen los sitiosweb de las agencias deviajes en línea, crea modelos individuales para cada persona. El resultado es unmodelo transparente, controlado por el usuario y personal. Podríamos decir que esjustoloopuestoaunADM.

www.lectulandia.com-Página57

Page 58: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

U

04Máquinapropagandística

Publicidadenlínea

ndía,cuandotrabajabacomocientíficadedatosparalastartupdepublicidadIntentMedia,unprominenteinversordecapitalriesgovisitónuestrasoficinas.

Parecíaestarconsiderandoinvertirennuestraempresa,quehadatodoloposibleporponersumejorsonrisa.Demodoquenosreunieronatodosparaescuchareldiscursoqueelinversortraíapreparado.

El inversor nos resumió el brillante futuro de la publicidad selectiva, Losinternautassuministrangrandescantidadesdedatosy,alhacerlo,estánentregandoalos anunciantes la capacidad de descubrir hasta elmínimo detalle sobre sus vidas.Esto permitirá a las empresas lanzar acciones específicamente dirigidas a losconsumidores precisamente en elmomento y en el lugar adecuado y utilizando lainformaciónqueconsiderenmásvaliosa.Unapizzeria,porejemplo,podrásabernosolo que el cliente se encuentra en ese momento en el barrio, sino también queprobablementeleapetezcalamismapizzarellenaestiloChicagocondobledequesoypepperoni que tomó la semana pasada durante el descanso del partido de fútbolamericano de los Dallas Cowboys. Su sistema le indicará además que es másprobablequelaspersonascuyosdatossiguenpatronessimilaresalosdeeseclientehaganclicenuncupóndedescuentodurantelaventanadeveinteminutosquesuponeeldescanso.

Enmiopinión, lapartemenosconvincentedesuargumentoeralajustificación,Explicóquelaavalanchadepublicidadpersonalizadaquellegaríaenbreveseríatanútily tanoportunaquelosclientesestaríanencantadosconella.Tantoquepediríanmás.Talycomoloveíaél,lamayoríadelagenteseoponealapublicidadporqueelcontenidode losanunciosqueven les resulta indiferente,Enel futuroestonoseráasí. En teoría, las personas que aparecían en su exclusiva demostración estaríanencantadas de ver anuncios hechos amedida para ellas, con casas en venta en lasBahamas, botellas de aceite de oliva virgen prensado a mano o jets privados enmultipropiedad.EhizounabromadiciendoqueyanotendríaquevolveraverotroanunciodelaUniversidaddePhoenix—unafábricaeducativaprivadaconánimodelucroqueatraemayoritariamentealasclasesmarginalesendificultades(yalasqueresultamásfácilengañar)—.

EsextrañoquemencionelaUniversidaddePhoenix,pensé.Éldebíaveranunciosque yo no veía,O quizá yo nome percataba de que aparecían enmi pantalla. Encualquier caso, yo sabía bastante sobre las universidades privadas con ánimo delucro, que ya por entonces se habían convertido en negociosmultimillonarios. Lasdenominadas fábricas de licenciados a menudo estaban suscritas por préstamos

www.lectulandia.com-Página58

Page 59: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

financiados por el Gobierno y los títulos que concedían apenas tenían valor en elmercadolaboral.Enmuchasprofesionesnovalíanmásqueeltítulodesecundaria.

MientrasqueelADMdelrankingdelasmejoresuniversidadesdeU.S.Newsleshacíalavidaimposiblealosestudiantesdelasclasesmediayalta(yasusfamilias),lasuniversidadesconánimodelucrosecentrabanenelotroextremodelapoblación(ymásvulnerable).EInternetlesfacilitabalaherramientaperfectaparahacerlo.Porlo tanto, no es en absoluto de extrañar que el drástico crecimiento del sectorcoincidieraconlallegadadeInternetcomoplataformadecomunicaciónpermanenteparalasmasas.LaUniversidaddePhoenixsegastabamásde50millonesdedólaressoloenanunciosdeGoogle[57] conelobjetivodedirigirsede formaselectivaa laspersonaspobresparaofrecerleselcebodelamovilidadsocial.Elanuncioincluíalacrítica subyacente de que las clases en dificultades no hacen lo suficiente paramejorarsusvidas.Ylesfuncionó.Entre2004y2014setriplicaronlasmatrículasenuniversidadesconánimodelucro[58]yelsectoracaparaenlaactualidadel11%delosestudiantesuniversitariosdelpaís.[59]

El marketing de estas universidades está a años luz de la promesa de losprincipios de Internet en que se decía que sería una gran fuerza de equilibrio ydemocratización. Aunque en los primeros tiempos de la era punto com sí que eracierto que «nadie sabía que eras un perro» (como en la viñeta delNew Yorker de1993), hoy en día es todo lo contrario.Nos clasifican y categorizan y nos asignanpuntuacionesencientosdemodelosenbasealospatronesypreferenciasquehemosdesvelado. Y esto constituye un poderoso fundamento para muchas campañaspublicitarias legítimas, aunque también alimenta a la publicidad depredadora: losanuncios que identifican a las personas con grandes necesidades y les vendenpromesasfalsasoproductosapreciosexcesivos.Estetipodepublicidadencuentraladesigualdad y se da un festín a su costa. El resultado es que se perpetúa laestratificaciónsocialexistente,con todassus injusticias.Lamayorbrechaes laqueexisteentrelaspersonasdeéxito,comoelinversordecapitalriesgo,ylaspersonasalasquesusmodeloscazan.

Alládondeencontremoslaignoranciacombinadaconunagrannecesidadesmuyprobableveranunciosdepredadores.Sisonpersonaspreocupadasporsuvidasexual,losanunciantesdepredadoreslesprometeránViagraoCialis,oinclusoextensionesdepene.Siesgentequeandacortadedinero,recibiráunaluvióndeofertasdecréditosrápidosconaltos tiposde interés.Sielordenadorva lento,puedequeseaunvirusquelehametidounanunciantedepredadorquedespuésseofreceráaarreglárselo.Y,como veremos en este libro, el auge de las universidades con ánimo de lucro estáalimentadoporlapublicidaddepredadora.

Se podría decir que la publicidad depredadora responde a la perfección a ladefinicióndeunADM.Seconcentraenlaspersonasmásdesesperadasaunaescalagigantesca.Enelsectordelaeducación,estosanuncianteshacenlafalsapromesadeabrir las puertas hacia la prosperidad, al tiempo que calculan cómomaximizar los

www.lectulandia.com-Página59

Page 60: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

dólares que pueden exprimir de cada posible cliente. Sus operaciones provocaninmensosyvilesbuclesde retroalimentaciónydejana susclientesenterradosbajomontañasdedeudas,Y lasvíctimasnoentiendencómopudieronestafarles,porquelas campañas son opacas. Simplemente aparecen en la pantalla del ordenador ydespués reciben llamadasde teléfono.Lasvíctimas casi nuncadescubren cómo laseligieronnicómoconsiguieronlosreclutadoressabertantosobresusvidas.

PensemosenelcasodeCorinthianColleges,quehastahacepocoeraungigantedel sector. Sus distintas divisiones contaban con más de 80.000 estudiantes,[60] lamayoría de los cuales recibían préstamos financiados por el Estado. En 2013 launiversidadconánimodelucrofuedenunciadaporelfiscalgeneraldeCaliforniapormentir sobre las tasas de contratación de los estudiantes después de licenciarse,cobrar de más a los estudiantes y utilizar sellos militares no autorizados en lapublicidaddepredadoraparaatraerapersonasvulnerables.Ladenunciaindicabaqueunadesusdivisiones,elCampusBrandondelaUniversidadEverestOnline,cobraba68.800 dólares de matrícula por un título de grado de Asistencia Legal que seestudiabaenlínea(yhayquetenerencuentaqueestetipodecursoscuestanmenosde10.000dólaresenmuchasuniversidadestradicionalesdelpaís).[61]

Además, según la denuncia, Corinthian Colleges seleccionaba a personas«aisladas»e«impacientes»,con«pocaautoestima»,con«pocosamigosofamiliaresque se preocupen por ellas», «atrapadas» en situaciones difíciles e «incapaces deconsiderar y planificar bien su futuro». La denuncia decía que las prácticas deCorinthian Colleges eran «ilegales, injustas y fraudulentas».[62] En 2014, trasmásdenunciasdeabusos,laadministraciónObamaimpidióelaccesodelaempresaalafinanciaciónfederalparapréstamosdeestudios.[63]Esospréstamoseransusustento.Amediadosde2015, laempresavendió lamayoríade suscampusy sedeclaróenbancarrotaenvirtuddelCapítulo11delaleydequiebrasestadounidense.[64]

Sin embargo, el sector sigue en activo. Vatterott College, una institución deformaciónprofesional,esunejemploparticularmentedespreciable.EnuninformedeuncomitédelSenadode2012sobrelasuniversidadesconánimodelucrosedescribeel manual de reclutamiento de Vatterott, y parece realmente diabólico.[65] Launiversidad envía a sus reclutadores a buscar: «Madres con hijos que recibanasistencia social.Mujeres embarazadas. Personas recién divorciadas. Personas conpocaautoestima.Personasconbajossueldos,Personasquehayansufridounamuertereciente,Personasquehayansufridoabusosfísicosomentales.Personasquehayanestado recientemente en prisión. Personas en rehabilitación por drogodependencia.Personascontrabajossinsalida.Personassinfuturo».

¿Porquésedirigíanespecíficamenteaestaspersonas?Lavulnerabilidadvalesupeso en oro. Siempre ha sido así. Imaginemos un matasanos ambulante de unaantiguapelículadelOeste.Entraenunpuebloconsucarretallenadetarrosybotellastintineantesycuandosesientaahablarconunaposibleclientadeedadavanzada,loquehaceesbuscarsusdebilidades.Laviejecitasetapalabocaconlamanocuando

www.lectulandia.com-Página60

Page 61: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

sonríe, lo que indica que le preocupan sus dientes cubiertos de caries. Giranerviosamente sualianza,que,por el aspectode sus inflamadosnudillos,nopodráquitarsehastael finaldesusdías:artritis.Asíquecuandoelmatasanos lepresentasusproductos,lehablaespecialmentedelomalquetienelosdientesydeldolorquesienteenlasmanos.Yleprometequevolveráatenerunabonitasonrisayqueharádesaparecereldolordesusarticulaciones.Conesainformaciónsabequetienemediaventaganadainclusoantesdeaclararselagargantaparahablar.

Laestrategiade losanunciantesdepredadoreses similar,pero laejecutanaunaescala masiva, seleccionandomillones de personas cada día. La ignorancia de losdientes,evidentemente,esunapiezacrucialdelpuzle.Muchosde losestudiantesalos que se dirigen son inmigrantes que llegan a Estados Unidos creyendo que lasuniversidades privadas tienen más prestigio que las públicas. Este argumento esplausible si lo aplicamos a universidades privadas comoHarvard y Princeton. Sinembargo,sololaspersonasqueacabandellegaralsistemapodráncreerqueDeVryola Universidad de Phoenix pudieran ser preferibles a cualquier universidad estatal(por no mencionar las mejores universidades públicas, joyas como Berkeley,MichiganoVirginia).

Unavezestablecidalaignorancia,laclaveparaelreclutador,aligualqueparaelmatasanos, es localizar a las personas más vulnerables y utilizar su informaciónprivadaensucontra.Estoquieredecirquedebenencontrarloquemáslesduele,elllamado«puntodébil».Puedeserunabajaautoestima,elestrésdecriaraloshijosenun barrio en el que hay bandas enfrentadas o quizá una drogadicción. MuchaspersonasrevelansuspuntosdébilessindarsecuentaensusbúsquedasenGoogleotalvezmástarde,alrellenaruncuestionariodelauniversidad.Conesavaliosaperladeinformación, los reclutadores simplementeprometen a lospotenciales alumnosqueuna educación cara en su universidad Les traerá la solución y eliminará su dolor.«Trabajamos con personas que viven al momento y para el momento —reza elmaterial que Vatterott utiliza en la formación de sus reclutadores—. Que estaspersonas decidan empezar a estudiar, seguir estudiando o abandonar los estudiosdependemásdesusemocionesquedelalógica.Eldoloreselmayormotivadorenelcorto plazo».[66] Durante una formación del equipo de reclutadores del InstitutoTécnico ITTse llegó inclusoautilizar la imagendeundentista inclinadosobreunpacienteenagoníajuntoconlaspalabras:«Descubredóndeestásudolor».[67]

Elprimerclicdeunestudiantepotencialenelsitiowebdeunauniversidadconánimo de lucro solo se produce después de que un largo proceso industrial hayapreparadoelterreno.CorinthianColleges,porejemplo,teníaunequipodemarketingde30personasquegastaba120millonesdedólaresalaño,[68]ygranpartedeestepresupuesto se dedicaba a generar y perseguir 2,4 millones de oportunidades denegocio(oleads,comosedenominaenlajergapublicitaria),queconducíana60.000nuevos estudiantes y 600millones de dólares de ingresos anuales. Estos inmensosequipos de marketing llegan a los estudiantes potenciales a través de múltiples

www.lectulandia.com-Página61

Page 62: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

canales, desde anuncios en televisiónygrandes cartelespublicitarios en autovíasyparadas de autobús hasta correo publicitario, anuncios en búsquedas de Google einclusoequiposdereclutadoresquevisitan institutosy trabajanpuertaapuerta.Unanalista del equipo diseña las distintas promociones con el objetivo específico deobtenerinformaciónderetorno.Paraoptimizarelreclutamiento—ylosingresos—,necesitansaberquiénha recibidosusmensajesy, siesposible,el impactoquehantenido.Soloconestosdatospuedenpasaraoptimizarlaoperación.

Laclavedecualquierprogramadeoptimización,naturalmente,esseleccionarunobjetivo.EnelcasodelasfábricasdelicenciadoscomolaUniversidaddePhoenix,creoquesepuededecirsintemoraequivocarsequeelobjetivoconsisteenreclutarelmayor número de estudiantes posible que cumplan los requisitos para recibir unpréstamodelEstadoconelquecubrir lamayorpartede lamatrículayde las tasasuniversitarias.Conesteobjetivoenmente,loscientíficosdedatostienenquepensarencómooptimizarlagestióndesusdistintoscanalesdecomunicaciónparagenerarconjuntamenteelmayorruidoposibleporcadadólargastado.

Los científicos de datos empiezan con una aproximación bayesiana, que enestadística es algo muy básico. El objetivo del análisis bayesiano es clasificar lasvariablessegúnelefectoquetienecadaunadeellassobreelresultadodeseado.Lapublicidad en las búsquedas en Internet, los anuncios de televisión, las vallaspublicitariasy lasdemáspromociones semediránen funciónde suefectividadpordólarinvertido.Cadaunatendráunaprobabilidaddiferente,expresadacomounvalorounaponderación.

Todo esto se complica un poco porque las distintas campañas con diferentesmensajesinteractúanunasconotrasynoesposiblemedirgranpartedelimpacto.Porejemplo, ¿incrementan los anuncios en los autobuses la probabilidad de que unposible estudiante responda a una llamada de teléfono?Resulta difícil responder aesta pregunta. Es más fácil hacer un seguimiento de los mensajes en línea, y lasuniversidades privadas con ánimo de lucro tienen la capacidad necesaria pararecopilardatosvitalesdecadaposible estudiante—dóndeviveny laspáginaswebquehanvisitado—.

Esta es la razón por la que gran parte del dinero que estas universidadesconsagran a publicidad acaba en Google y en Facebook Estas dos plataformaspermitenalosanunciantessegmentarsuspoblacionesobjetivoconminuciosodetalle.Lospublicistasdeunapelículade JuddApatow,porejemplo,pudieron seleccionarespecíficamente a varonesde entre18y24 años en los cincuenta códigospostalesmás ricos y concentrarse en los que habían hecho clic en enlaces a la películataquillazo de JuddApatowY de repente tú, le habían dado a «Me gusta» en esosenlaces,lohabíanmencionadoaélenTwitteroeranamigosdealguienquehubierahecho alguna de esas cosas.No obstante, las universidades privadas con ánimodelucrocazanenotradirección.Esmásprobablequesedirijanalaspersonasquevivenen loscódigospostalesmáspobresyquesecentrenespecialmenteenaquellosque

www.lectulandia.com-Página62

Page 63: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

hayanhechoclicenunanunciodepréstamosrápidosoqueparezcanpreocupadosporelestréspostraumático(sereclutaconfrecuenciaalosveteranosdeguerraporqueesmásfácilparaellosconseguirfinanciación).

Lacampaña lanzaunaserie infinitadeanunciosquecompiten losunoscon losotrosporvercuálconsigueatraeralmayornúmerodeestudiantespotenciales.Estemétodo,basadoeneldenominadotestA/B,esunmétodoquesehautilizadodesdehace décadas en elmarketing directo. Envían muchísimas invitaciones, miden lasrespuestasyperfeccionansuscampañas.Cadavezquedescubrimosunaofertaparadisponerdeunanuevatarjetadecréditoenelbuzón,estamosparticipandosinsaberloenunadeestaspruebas.Al tirar lacartaa labasurasinsiquieraabrirla, leestamosentregandoa laempresaundatodegranvalor:esacampañanoha funcionadoconnosotros. La próxima vez intentarán algo ligeramente diferente. Pueden pareceresfuerzos estériles, porque muchísimas ofertas acaban en la basura, pero para lasempresasquetrabajanenmarketingdirecto,yaseaatravésdeInternetoporcorreo,unatasaderespuestadel1%esunsueñohechorealidad.Alfinyalcabo,trabajancongrandescifras.El1%delapoblaciónestadounidenseesmásdetresmillonesdepersonas.

Cuando estas campañas se llevan a cabo en línea, el proceso de aprendizaje seacelera. Internet ofrece a los anunciantes elmayor laboratorio de investigación deconsumoygeneracióndeoportunidadesdenegociodelmundo.Larespuestaacadapromoción llega en cuestión de segundos —con muchísima más rapidez que porcorreo—. En cuestión de horas (en lugar de meses), cada campaña puedeconcentrarseenlosmensajesmásefectivosyestarmáscercadealcanzarlabrillantepromesadetodapublicidad:llegaralclientepotencialenelmomentoprecisoyconexactamente el mensaje adecuado para desencadenarla decisión y conseguir asíarrastraraotroclientequepague.Esteprocesodemejoranoterminanunca.

Ycadavezmás, lasmáquinasdeprocesamientodedatos filtrannuestrosdatospor su cuenta, buscando nuestros hábitos, esperanzas, temores y deseos. Con elaprendizajeautomático,uncampodeinteligenciaartificialderápidocrecimiento,elordenador se sumerge en los datos y sigue unas sencillas instrucciones básicas. Elalgoritmo encuentra patrones por sí solo y después, con el paso del tiempo, losconectaconlosresultados.Enciertosentidosepuededecirqueaprende.

En comparación con el cerebro humano, el aprendizaje automático no esespecialmenteeficiente.Cuandounaniñatocaunaestufaconeldedo,sientedolorydominará para el resto de su vida la correlación entre elmetal caliente y el dolorpunzante en la mano. Y además aprende la palabra que lo describe: quema. Unprogramadeaprendizajeautomático,porelcontrario,necesitarámillonesomilesdemillonesdedatosparacrearsusmodelosestadísticosdecausayefecto.Noobstante,porprimeravezenlahistoria, todosesospetabytesdedatosestánahorafácilmentedisponibles, junto con poderosos ordenadores para procesarlos. Por otra parte, a la

www.lectulandia.com-Página63

Page 64: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

horaderealizarmuchastareas,elaprendizajeautomáticodemuestrasermásflexibleytenermásmaticesquelosprogramastradicionalesregidospornormas.

Los científicos del lenguaje, por ejemplo, pasaron décadas, desde la década de1960hasta losprimeros añosde este siglo, intentando enseñar a los ordenadores aleer. Durante la mayor parte de ese periodo programaron definiciones y normasgramaticales en código, pero las lenguas abundan en excepciones, como cualquierestudiante extranjero aprende rápidamente en cuanto inicia su estancia. La lenguatieneargotysarcasmo.Elsignificadodeciertaspalabrascambiaalolargodeltiempoy de la geografía. La complejidad del lenguaje es la pesadilla de cualquierprogramador,Alfinal,lacodificaciónesinútil.

Sin embargo, desde que se creó Internet, personas de todo el mundo hanproducido trillones de palabras sobre nuestras vidas y nuestro trabajo, nuestrascomprasynuestras relacionesdeamistad.Alhacerlo,hemosconstruido sindarnoscuentaelmayorcorpusdeaprendizajequehayaexistidonuncaparalosprogramasdelenguaje natural. Cuando pasamos del papel al correo electrónico y a las redessociales, los ordenadores pudieron empezar a estudiar nuestras palabras, acompararlasconotrasyarecopilarciertainformaciónsobresucontexto.Elprogresohasidorápidoydrástico.En2011,Appleapenaslogróimpresionaralmundodelatecnologíaconsu«asistentepersonal»conlenguajenaturalSiri.Estatecnologíasolopodíaconversarenciertasáreasycometíaerroresgraciosos.Alamayoríadelagenteleparecióprácticamenteinútil.Sinembargo,ahoraseoyeamuchagentehablándoleasumóvilencualquiermomento, lepidenlaprevisióndel tiempo,elresultadodelpartidoo indicacionesparadirigirsea algún sitio.Enalgúnmomentoentre2008y2015, más o menos, las capacidades lingüísticas de los algoritmos avanzaron delniveldepreescolaraquintodeprimaria,yenalgunasaplicacionesinclusoanivelesmuchomásavanzados.

Estosavancesenellenguajenaturalhanabiertounfilóndeposibilidadesparalapublicidad. Los programas «saben» lo que significa una palabra, al menos laentiendenlosuficientementebiencomoparaasociarlaconciertoscomportamientosyresultados, al menos a veces. Impulsados en parte por este creciente dominiolingüístico, los anunciantes pueden investigar para buscar otros patrones. Unprograma de publicidad puede empezar con los habituales datos demográficos ygeográficos,peroalcabodevariassemanasymeses,empiezaaaprenderlospatronesde las personas que está seleccionando y a hacer predicciones sobre su siguientemovimiento. Con el tiempo, acaba conociéndolas. Y si se trata de un programadepredador, evalúa sus debilidades y vulnerabilidades y opta por lamejor vía paraexplotarlas.

Además de utilizar programas informáticos de vanguardia, los anunciantesdepredadores suden trabajar con intermediarios que emplean métodos mucho mástoscosparaalcanzarsusobjetivos.En2010,unanunciomuyefectivomostrabaunafotografía del presidenteObama con el siguiente texto: «Obamapide a lasmadres

www.lectulandia.com-Página64

Page 65: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

que vuelvan a estudiar: terminad vuestros estudios. Ayuda financiera disponibleparalassolicitantesquecumplanlosrequisitos».[69]ElanunciodabaaentenderqueelpresidentehabíafirmadounnuevoproyectodeleyconelobjetivodequelasmadresvolvieranaestudianEramentira,perosiempujabaalagenteahacerclicenélservíasupropósito.

Detrásdeesteengañosotitulartodounsuciosectorestabatrabajandomuyduro.Según una investigación de ProPublica, cuando una consumidora hacía clic en elanuncio,se lehacíanvariaspreguntas, incluidasuedadysunúmerode teléfono,einmediatamenteunauniversidadconánimodelucroseponíaencontactoconella.Lapersona que la llamaba no le daba ninguna información adicional sobre el nuevoproyectodeleydelpresidenteObama,simplementeporquenuncahabíaexistido.Enlugardeeso,seofrecíanaayudarlaaobtenerunpréstamoparamatricularse.

Este tipo de segmentación en línea se denomina «generación de leads»(generación de oportunidades de negocio o de clientes potenciales), El objetivoconsisteenrecopilarunalistadeclientespotencialesquesepuedavender—enestecasoauniversidadesconánimodelucro—.SegúnelinformedeProPublica,entreel20%yel30%delospresupuestosparapublicidaddelasuniversidadesconánimodelucroestádestinadoalageneracióndeleads.Estasuniversidadespuedenllegarapagarhasta150dólaresporcadaunodelosclientespotencialesmásprometedores.[70]

SegúnDavidHalperin,que investiga laspolíticaspúblicas,Neutron Interactive,unaempresadegeneracióndeleadsconsedeenSaltLakeCitypublicóanunciosdeempleos falsosensitioswebcomoMonster.com,asícomoanunciosqueprometíanayudaralagenteaconseguirvalesdecomidaycoberturaenMedicaid,elprogramaestataldeasistenciamédicaparapersonasconpocosingresos.[71]NeutronInteractiveutilizaba los mismos métodos de optimización para lanzar un gran número deanuncios diferentes y medir la efectividad de cada uno de ellos en cada grupodemográfico.

Elpropósitodeestosanuncioseraconseguirelnúmerodemóvildepersonasenparoquebuscandesesperadamenteunempleoengañándolasconunseñuelo.Enlasllamadasposteriores, solo el5%deestaspersonas expresaron interéspor estudiosuniversitarios, pero esos nombres eran leads muy valiosos. Las universidades conánimodelucroestabandispuestasapagarhasta85dólaresporcadaunodeellos.[72]Yharían todo lo que estuviera a su alcance para conseguir amortizar la inversión.Segúnel informede laOficinadeResponsabilidaddelGobiernoEstadounidens,[73]cincominutos después de haber iniciado sesión, los potenciales estudiantes podíanempezararecibirllamadas.Unadeestaspersonasobjetivollegóarecibirmásde180llamadasenunsolomes.

Lasuniversidadesprivadasconánimodelucro,evidentemente,tienensuspropiosmétodosparagenerarleads,Unadesusherramientasmásvaliosaseslapáginawebdel College Board (la entidad que organiza los exámenes de acceso a las

www.lectulandia.com-Página65

Page 66: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

universidades),queeselrecursoquemuchosestudiantesutilizanparainscribirseenlos exámenes de accesoSATy para informarse sobre la nueva etapa de sus vidas.SegúnMaraTucker,unaorientadoraquetrabajaenlapreparaciónparalauniversidadpara el Instituto Asambleario Urbano de Matemáticas y Ciencia para MujeresJóvenes,uncentropúblicodeBrooklyn,elmotordebúsquedadelapáginawebdelCollegeBoardestádiseñadoparadirigiralosestudiantespobresalasuniversidadesprivadasconánimodelucro.[74]Cuandounestudiante indicaenuncuestionarioenlíneaquenecesitaráayudafinanciera,lasuniversidadesconánimodelucroaparecenautomáticamenteenlosprimerospuestosdela listadeuniversidadesrecomendadasparadichoestudiante.

Las universidades con ánimo de lucro también ofrecen servicios gratuitos acambiodequelosestudiantespasentiempopresencialconellos.CassieMagesis,otraorientadora de preparación universitaria del mismo centro, me contó que lasuniversidadesofrecen talleresgratuitospara ayudar a los estudiantes a redactar suscurrículos.[75] Estas sesiones resultan de utilidad para los estudiantes, pero losestudiantes pobres que entregan sus datos de contacto para asistir a estos talleresgratuitossonposteriormenteacosados.Lasuniversidadesconánimode lucronosemolestan en dirigirse a los estudiantes ricos. Esos alumnos y sus padres sabendemasiado.

Elreclutamientoatravésdecualquiermétodoesesencialparalasuniversidadesprivadas con ánimo de lucro y esta partida del presupuesto recibe muchos másfondos,en lamayoríade loscasos,que laeducaciónensí,Un informedelSenadosobre treinta universidades privadas con ánimo de lucro descubrió que estasuniversidadescontabanconunreclutadorporcada48estudiantes.ApolloGroup,lasociedadmatrizdelaUniversidaddePhoenix,gastómásde1000millonesdedólaresenmarketingen2010,ycasitodoelpresupuestofueapararalreclutamiento.[76]Estorepresenta2225dólaresporestudiantegastadosenmarketingysolo892dólaresporestudiantedestinadosa laeducación.SicomparamosestosdatosconlauniversidadpúblicacomunitariaPortlandCommunityCollegeenOregon,estagasta5953dólaresporestudianteeneducaciónyaproximadamenteel1,2%desupresupuesto,esdecir,185dólaresporestudiante,enmarketing.[77]

***

Las matemáticas, bajo la forma de modelos complejos, alimentan la publicidaddepredadora que atrae a los potenciales estudiantes a estas universidades. Sinembargo, en la fase en la que los reclutadores acosan a los posibles estudiantes atravésdesusteléfonosmóviles,yahemosdejadoatráselmundodelosnúmeros.Losargumentos de venta, con sus promesas de una educación asequible, brillantesperspectivasprofesionalesymovilidadsocialascendente,nosonmuydistintosa la

www.lectulandia.com-Página66

Page 67: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

publicidad que se emplea para vender elixires mágicos, curas para la calvicie ybandasvibradorasparaquemarlagrasadelacintura.Nosonnadanuevo.

Noobstante,uncomponentecrucialdeunADMesqueproduceundañoen lavida demuchas personas.Y con este tipo de anuncios depredadores el daño no seproducehastaquelosestudiantesempiezanasolicitargrandespréstamosparapagarlamatrículaylastasasuniversitarias.

La medida clave aquí está en la llamada regla 90-10,[78] incluida en la leyestadounidense sobre la educación superior de 1965. Esta ley estipula que lasuniversidadesnopuedenrecibirmásdel90%desufinanciacióndeayudasfederales.La lógica que justificó esta norma era que si los estudiantes invertían parte de supropio dinero, se tomarían su educaciónmás en serio. Pero las universidades conánimodelucrocalcularonrápidamentelasimplicacionesdeestaratioensuplandenegocio.Silosestudianteslograbanreunirunoscuantosmilesdedólares,yafueradesus ahorros o mediante un préstamo bancario, las universidades podían conseguirmultiplicaresasumaenpréstamosestatales, loqueconvertiríaacadaestudianteenundienteincreíblementerentable.

Muchosestudiantesteníanlasensacióndequelospréstamosestataleserandinerogratis,ylasuniversidadesnosemolestabanencorregiresaconfusión.Sinembargo,lospréstamosno erandinero regalado, sinodeuda, ymuchos estudiantes sevieronrápidamente inmersoshasta losojos enella.Ladeudapendientede los estudiantescuando Corinthian Colleges se declaró en quiebra ascendía a 3500 millones dedólares.[79]Lamayorpartedeesadeudaestabarespaldadapor loscontribuyentesynuncaserádevuelta.

Seguroquealgunasdelaspersonasqueestudianenestasuniversidadesprivadascon ánimo de lucro cuentan, al acabar sus estudios, con conocimientos ycompetencias que les resultan muy útiles. ¿Pero les va mejor a ellos que a losdiplomados de las universidades públicas comunitarias (community colleges eninglés)enlasquesecursanestudiosdedosañosyquetienenuncostemuyinferior?En 2014, los investigadores del centro de investigación CALDER/AmericanInstitutes for Research[80] crearon casi 9000 currículos ficticios. Algunos de estosinexistentesdemandantesdeempleoteníantítulosbásicosdeuniversidadesprivadascon ánimo de lucro, otros tenían títulos similares de universidades públicascomunitarias,mientrasqueun tercergrupono teníaeducaciónuniversitariaalguna.Los investigadores enviaron sus currículos a ofertas de empleo en siete grandesciudades y midieron la tasa de respuesta. Descubrieron que los títulos de lasuniversidadesprivadasconánimodelucrovalíanmenosenelmercadodetrabajoquelos de las universidades públicas comunitarias y casi lo mismo que los títulos desecundaria.Y,sinembargo,estasuniversidadesprivadascuestandemediaun20%másquelasprincipalesuniversidadespúblicas.

El bucle de retroalimentación de esta ADM es mucho menos complicado queperverso. El 40%más pobre de la población estadounidense se encuentra en una

www.lectulandia.com-Página67

Page 68: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

situacióneconómicadesesperada.Muchosempleosindustrialeshandesaparecido,yasea porque los trabajadores han sido sustituidos por la tecnología o porque se hatrasladadolafabricaciónalextranjero.Lossindicatoshanperdidosufuerza.El20%másricodelapoblacióncontrolael89%delariquezadelpaísyel40%máspobreno controla ninguna riqueza en absoluto.[81] Sus activos son negativos: el hogarmedio de esta enorme dase marginal en apuros tiene una deuda neta de 14.800dólares,granpartedeellaenabusivascuentasdetarjetasdecrédito.Ylallaveparapoderganarmásdinero,segúnlesrepitenunayotravez,eslaeducación.

Yahílleganlasuniversidadesprivadasconánimodelucro,consusmuypulidasADM,para seleccionarydesplumara laspersonasmásnecesitadas.Lesvenden lapromesadeunaeducaciónyunseductordestellodemovilidadsocialascendente(altiempoqueloscubrenconmásdeuda).Seaprovechandelaurgentenecesidaddeloshogarespobres, así comode su ignoranciay sus aspiraciones, y los explotan.Y lohacen a gran escala. Esto conduce al abatimiento y la desesperanza, así como alescepticismo sobre el valor de la educación en general, y agrava la ya profundabrechaderiquezaqueexisteenEstadosUnidos.

Esimportanteseñalarqueestasfábricasdelicenciadosaumentanladesigualdadenlosdossentidos.Losrectoresdelasprincipalesuniversidadesprivadasconánimodelucrogananmillonesdedólaresalaño.Porejemplo,GregoryW.Cappelli,elCEOdelgrupoempresarialApolloEducationGroup,lasociedadmatrizdelaUniversidaddePhoenix,ganó25,1millonesdedólaresderemuneracióntotalen2011.[82]Enlasuniversidades públicas, que tienen sus propias distorsiones también, solo losentrenadoresdefútbolamericanoydebaloncestopuedenaspiraraganartanto.

***

Desafortunadamente,lasuniversidadesprivadasconánimodelucronosonlasúnicasquedespliegananunciosdepredadores.Tienenmuchacompañíaenesesector.Bastaconpensarencualquierlugarenelquehayapersonassufriendoodesesperadasyallíveremos anunciantes blandiendo sus modelos depredadores. Una de las mayoresoportunidades,evidentemente,esladelospréstamos.Todoelmundonecesitadinero,peroalgunoslonecesitanconmayorurgenciaqueotros.Ynoesdifícilencontraraestas personas. Es mucho más probable que aquellos que más desesperadamentenecesitan dinero vivan en los códigos postales que corresponden a las zonas máspobres.Ydesde el punto de vista de un anunciante depredador, las búsquedas quehacenesaspersonasen Internety sus clics envalesdecomidaequivalenapedir agritosquelesprestenunaatenciónespecial.

Al igual que las universidades privadas con ánimo de lucro, el sector de lospréstamos rápidos utiliza ADM. Algunos representan operaciones legales, pero elsector es fundamentalmentedepredadory cobra exorbitantes tiposde interésdeun574 % de media en los préstamos a corto plazo,[83] Esto multiplica de media el

www.lectulandia.com-Página68

Page 69: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

importe inicial por ocho, lo que los convierte prácticamente en préstamos a largoplazo.Cuentanconelapoyoesencialdelegionesdeagenciasdedatosygeneradoresde leads, muchos de ellos timadores profesionales. Sus anuncios aparecen enordenadoresyteléfonosyofrecenaccesorápidoadineroenefectivo.Unavezquelospotencialesclienteshancompletadolasolicitud,enlaqueamenudodebenincluirsusdatosbancarios,quedanexpuestosalroboyelabuso.

En 2015, la Comisión Federal de Comercio de Estados Unidos acusó a dosagenciasdedatosdelaventadelassolicitudesdecréditodemásdemediomillóndeconsumidores,[84]Segúnlademanda,lasempresas,SequoiaOnedeTampa(Florida)yGenXMarketingGroupdelacercanaClearwater,robaronnúmerosdeteléfonodeclientes, información de los empleadores, números de la seguridad social einformacióndecuentasbancadas,ylosvendieronporcincuentacéntimoscadauno.Las empresas que compraron la información, según los organismos reguladores,asaltaron las cuentas bancadas de los consumidores y robaron «al menos» 7,1millones de dólares estadounidenses. A muchas de las víctimas les cobraronposteriormente comisiones bancarias por vaciar sus cuentas o por los chequesdevueltosporfaltadefondos.

Alpensarenlascifrasdelasquehablamos,resultancasipatéticamentebajas:7,1millonesdedólaresrepartidosentremediomillóndecuentastocana14dólaresporcuenta.Inclusosilosladronesnoconsiguieronaccederamuchasdeellas,granpartedeldineroquerobaroncorrespondíaapequeñassumas,losúltimos50o100dólaresquealgunaspersonaspobresteníanenelbanco.

Losorganismosreguladoresestánpresionandoafavordelaaprobacióndenuevasleyesqueregulenelmercadodedatospersonales,lainformacióndeentradaesencialdetodaslasADM,Hastaelmomento,existenunpardeleyesfederales,comolaLeyde InformaciónCrediticia Imparcial (FCRA, por sus siglas en inglés) y la Ley deTransferibilidadyResponsabilidaddelosSegurosMédicos(HIPPA,porsussiglaseninglés), que establecen ciertos límites sobre los datos crediticios y sanitariosrespectivamente.Quizá, si se tiene en consideración a losgeneradoresde leads, seañadiránotrasleyesenelfuturo.

Noobstante,comoveremosenlossiguientescapítulos,algunasdelasADMmásefectivasyperversasconsigueningeniárselasparaevitaresosobstáculos.Loestudiantodo,desdenuestrosvecinoshastanuestrosamigosdeFacebook,conelpropósitodepredecirnuestrocomportamiento,einclusoconsiguenmeternosentrerejas.

www.lectulandia.com-Página69

Page 70: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

L

05Víctimasciviles

Lajusticiaenlaeradelbigdata

a pequeña ciudad de Reading (Pensilvania) se ha enfrentado a grandesdificultades en la era postindustrial.[85] Enclavada en verdes colinas a unos

ochentakilómetrosaloestedeFiladelfia,Readingcrecióygenerósuriquezagraciasal ferrocarril, el acero, el carbón y la industria textil. Sin embargo, en las últimasdécadas, con todas esas industrias en declive, la ciudad se ha idomarchitando.En2011,Readingteníaelmayoríndicedepobrezadetodoelpaís:el41,3%(aunquealañosiguienteDetroitlasuperópormuypoco).[86]Amedidaquelarecesióngolpeabala economía deReading como consecuencia del derrumbe de la bolsa de 2008, larecaudaciónfiscalsereducía,conelconsiguientedespidodecuarentaycincoagentesdel departamento de policía, pese a que los niveles de delincuencia se manteníanigual.

WilliamHeim,eljefedepolicíadeReading,tuvoqueapañárselasparagarantizarlamismaoinclusounamejorvigilanciapolicialconuncuerpomásreducido.Así,en2013decidióinvertirenunsoftwaredeprediccióndedelitosdiseñadoporPredPol,unastart-updebigdataconsedeenSantaCruz(California).[87]Elprogramaprocesólosdatoshistóricosdedelincuenciayrealizóuncálculo,porhoras,paradeterminardónde era más probable que se cometiera algún delito. Los agentes de policía deReadingpodíanvisualizarlosresultadosdelprogramaenformadecuadrantes,cadauno con las dimensiones de tan solo dos campos de fútbolSi pasabanmás tiempopatrullando estos cuadrantes, tenían muchas posibilidades de disuadir a losdelincuentes de actuar. Y así fue; un año después,WilliamHeim anunció que losrobosenlasviviendashabíandisminuidoenun23%.

Los programas predictivos como PredPol son la última moda en losdepartamentos de policía con presupuestos bajo mínimos de todo el país. DesdeAtlantaaLosÁngeles,estosdepartamentosdespliegansuspatrullasenloscuadrantesidentificadoscomopeligrososencadamomentoypublicaníndicesdedelincuenciaala baja. Las autoridades de Nueva York también utilizan un programa similar,denominadoCompStatY la policía de Filadelfia ha recurrido a un producto local,HunchLab,que incluyeanálisisde riesgossobreel terrenoyqueademás incorporadeterminadoselementos,comoloscajerosolossupermercadosdebarrio,quepuedenser focos de delincuencia.[88] Al igual que el resto del sector del big data, losdesarrolladoresdesoftwaredeprediccióndedelitostrabajanamarchasforzadasparaincluircualquierdatoquepermitaaumentarlaprecisióndesusmodelos.

www.lectulandia.com-Página70

Page 71: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Si reflexionamos sobre ello, la prediccióndepuntos críticos funcionade formasimilaralosmodelosdefensivosqueseutilizanenbéisbol,delosquehablamosconanterioridadEstossistemasanalizanelhistorialdehitsdecadajugadorparasituaralos jardinerosen laposiciónhacia laqueesmásprobableque sedirija labola.Laprediccióndedelitos aplicaun análisis similar, y sitúa a los agentes en los lugaresdondeesmásprobablequeocurrandelitos.Ambosmodelosoptimizanrecursos.Noobstante,existenciertosmodelosdeprediccióndedelitosmássofisticados,capacesdepredecirtendenciasquepodríanconduciraoleadasdedelincuencia.PredPol,porejemplo,estábasadoenunsoftwarequeaplica la lógicade losseísmos:estudiaundelitoenunazona,lointegraenunpatrónhistórico,ypredicecuándoydóndepodríaocurrir la próxima vez (una de las correlaciones básicas que se han detectadorecomiendaquesirobanlacasadelvecinodeallado,cierreslatuyacondoblellave).[89]

LosprogramasdeprediccióndedelitoscomoPredPoltienengrandesvirtudes.Adiferencia de los agentes anticrimen de la distópica película de Steven SpielbergMinorityReport (y de algunas iniciativas reales que no auguran nada bueno y queabordaremosenbreve),lospolisnorastreanalaspersonasantesdequecometanlosdelitos. Jeffrey Brantingham, profesor de Antropología en la Universidad deCaliforniaenLosÁngeles(UCLA)yresponsabledelacreacióndePredPol,insistióenqueelmodeloescompletamenteciegoa la razay laetnia.[90]Yadiferenciadeotros programas, incluidos los modelos de riesgo de reincidencia analizados encapítulos anteriores, que dan directrices para la determinación de las condenas,PredPol no se centra en personas individuales, sino que analiza la geografía. Losdatosdeentradaprincipalessonlatipologíaylalocalizacióndecadadelito,asícomoelmomentoenelquetienelugar.Enprincipiotodoparecemuyrazonable.Ysi losagentespatrullanmás laszonasdealto riesgo, frustrando losplanesde ladronesdecasasycoches,haybuenasrazonesparapensarquelacomunidadsaldrábeneficiada.

Sinembargo,lamayoríadelosdelitosnosontangravescomolosrobosencasasy los robos de vehículos, y ahí es donde surgen los problemas. Cuando la policíaconfigura su sistema PredPol, puede elegir diferentes opciones. Pueden centrarseexclusivamente en los delitos de la Parte I según la clasificación utilizada en losinformesdedelincuenciadelFBI.Setratadelosdelitosconviolenciayentreellosseincluyen los homicidios, los incendios provocados y los asaltos, delitos quegeneralmentesonobjetodedenunciasante lapolicía.Noobstante, lapolicíapuededecidir ampliar el foco e incluir losdelitosde laParte II, donde se encontrarían elvagabundeo, la pertenencia a pandillas y la venta y el consumo de pequeñascantidades de droga. Muchos de estos delitos de «alteración del orden público»pasaríansinquenadielosregistrarasinohubieraunagenteenellugardondeocurrenparaverlos.

Estos delitos de alteracióndel ordenpúblico son endémicos enmuchos barriosempobrecidos. En algunas ciudades la policía los denomina comportamientos

www.lectulandia.com-Página71

Page 72: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

antisociales. Lamentablemente, incluirlos en el modelo conlleva el riesgo dedistorsionar el análisis. Cuando se introducen los datos de alteración del ordenpúblicoenunmodelopredictivo,aumentaelnúmerodeefectivosqueacudenaesosbarrios,dondeesmásprobablequerealicenmásarrestos.Alfinyalcabo,aunquesuobjetivo sea acabar con los robos, los asesinatos y las violaciones, también pasannecesariamenteporperiodosmástranquilos.Patrullaresasí.Ysiunagentedepolicíaveaunpardechavalesquenoparecen tenermásdedieciséisañosdando tragosaunabotellaenvueltaenunabolsamarrón,losparará.Estetipodefaltaslevespueblanentonces los modelos con infinidad de puntos y, en consecuencia, los modelosenviaráncadavezamáspolicíasalmismobarrio.

Secreaasíunbuclederetroalimentaciónpernicioso.Lavigilanciapolicialensígenera nuevos datos, que a su vez justifican que haya más vigilancia. Y nuestrasprisiones acaban repletas de cientos de miles de personas declaradas culpables dedelitossinvíctimas.Lamayoríadeellosprovienendebarriospobres,y lamayoríasonnegrosohispanos.Porlotanto,aunqueelmodeloseaciegoalcolor,elresultadoes justamente lo contrario. En nuestras ciudades, en sumayor parte segregadas, lageografíaesunvalorsustitutivoaltamenteeficazparalaraza.

Sielpropósitodelmodeloesevitarlosdelitosgraves,cabríapreguntarseporquélosdelitosdealteracióndelordenpúblicoseinvestigansiquiera.Larespuestaesqueel vínculo entre el comportamiento antisocial y la delincuencia es un dogma de fedesde1982,cuandoelcriminólogoGeorgeKellingsealióconelexpertoenpolíticaspúblicasJamesQ.WilsonpararedactarunartículotrascendentalquesepublicóenelAtlantic Monthly sobre la llamada vigilancia policial basada en la «teoría de lasventanasrotas».[91]Segúnestaidea,cuandoenunbarriosecometendelitosmenoresyfaltas,segeneraunambientededesordenpúblico, loqueasustaalosciudadanosquesírespetanlaley.Lascallesoscurasyvacíasquedejantrasdesíalhuirdelbarriose convierten en el caldo de cultivo perfecto para los delitos graves. El antídotoconsistía en que la sociedad evitara la propagación del desorden.Y esto implicabareparar las ventanas rotas, limpiar los grafitis de los vagones de metro y tomarmedidasparamitigarlosdelitosdealteracióndelordenpúblico.

Siguiendoestafilosofía,enladécadade1990asistimosalamultiplicacióndelascampañasdetoleranciacero,comolacélebrecampañadeNuevaYork.[92]Lospolisarrestabanaloschicosquesecolabanenelmetrosinpagar.Arrestabanacualquieraporcompartirunporro,yluegolopaseabanporlaciudadenunfurgóndurantehorasantesdeficharlo.Algunosatribuyeronladrásticacaídadelosdelitosviolentosenlasciudadesaestasenérgicascampañas.

Otros, sin embargo, no pensaban así. Los autores del superventasFreakonomics[93] llegaronhastaelpuntoderelacionarlacaídadelosdelitosconlalegalizacióndelabortoenladécadade1970.Yflorecierontodotipodeteorías,quecontemplabandesdeeldescensodelosíndicesdeadiccióndelacocaínahastaelaugedelaeconomíaenladécadade1990.Encualquiercaso,elmovimientodetolerancia

www.lectulandia.com-Página72

Page 73: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

cero obtuvo un amplio apoyo y el sistema de justicia penal envió a la cárcel amillones de hombres, principalmente jóvenes de minorías, muchos de ellos pordelitosmenores.

Sinembargo,Latoleranciaceroenrealidadteníamuypocoqueverconla«teoríade lasventanasrotas»deKellingyWilson.Elcasoqueellosestudiaronfue loqueparecía ser una exitosa iniciativa de vigilancia policial en la ciudad de Newark(NuevaJersey),Segúnelprograma,lapolicíaquehacíalarondaenesaciudaddebíasermuy tolerante. Su trabajo consistía en ajustarse a las normas de orden públicoespecíficasdecadavecindarioyayudaramantenerlas.Estasnormasvariabandeunaparte de la ciudad a otra. En un determinado barrio, esto podía significar que losborrachos tenían que guardar las botellas en bolsas de papel y evitar las callesprincipales,aunquepodíantranquilamenteestaren lassecundarias.Losdrogadictospodíansentarseenlosescalonesdeentradaalosedificios,peronotumbarseenellos.La ideaeraúnicamenteasegurarsedequese respetabandichasnormas.Segúnesteplan, lo que hacía la policía era ayudar al vecindario a mantener su propio ordenpúblico,noimponerleselsuyo.

PuedeparecerquenosalejamosunpocodePredPol,delasmatemáticasydelasADM.Sinembargo,cadaunodeestosplanesdevigilanciapolicial,tantolateoríadelasventanas rotascomo lascampañasde toleranciacero, representaunmodelo.AligualquenuestraplanificaciónsemanaldecomidasoelrankingdeuniversidadesdeU.S.News,cadamodelodeluchacontraladelincuenciasebasaenlaintroduccióndedeterminadosdatosa losqueseasociaunaseriederespuestas,ycadaunodeellosestádiseñadoparaperseguirunobjetivo.Esimportanteanalizarlavigilanciapolicialteniendoestoenmente,puestoquesonestosmodelosmatemáticoslosquerigenloscuerposdeseguridadenlaactualidad.YalgunosdeellossonverdaderasADM.

Ahora bien, existen razones que explican por qué los departamentos de policíaoptanporincluirlosdatosdedelitosdealteracióndelordenpúblico.Educadosenlaortodoxiade la toleranciacero,muchosdeellosestánmássegurosdelvínculoqueexiste entre los delitos leves y los graves que de la correlación entre el humoy elfuego. Cuando la policía de la ciudad británica de Kent probó PredPol en 2013,incorporaronlosdatosdelosdelitosdealteracióndelordenpúblicoensumodelo.[94]Y pareció funcionar. Comprobaron que los cuadrantes de PredPol eran diez vecesmáseficientesqueelpatrullajealeatorioydosvecesmásprecisosquelosanálisisdelos equipos de inteligencia policial.[95] ¿Qué tipo de delitos eran los que mejorpredecíaelmodelo?Losdelitosdealteracióndelordenpúblico.Tienetodoelsentidodel mundo. El borracho se meará en la misma pared día tras día y el yonqui setumbaráenelmismobancodelparque,mientrasqueelladróncambiaráamenudodezonaydedicarámuchosesfuerzosaanticiparlosmovimientosdelapolicía.

Aunque los jefes de policía pongan el acento en la lucha contra los delitosviolentos, requeriríaunextraordinarioautocontroldecidirno incluiren losmodelospredictivos las grandes cantidades de datos sobre delitos de alteración del orden

www.lectulandia.com-Página73

Page 74: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

público. Es fácil creer que más datos equivale a mejores datos. Mientras que unmodelocentradoúnicamenteenlosdelitosviolentosgeneraunaconstelacióndispersaen la pantalla, la inclusión de los datos de delitos de alteración del orden públicoofreceunretratomáscompletoyvividodelailegalidadenlaciudad.

Y,pordesgracia,enlamayoríadelasjurisdicciones,unmapadeladelincuenciageneradodeestemodoloquetrazaenrealidadeselrastrodelapobreza.Elelevadonúmero de arrestos en estos barrios simplemente confirmaría la tesis generalmenteaceptadaporlasclasesmediasyaltasdelasociedad:quelaspersonaspobressonlasúnicasresponsablesdesuspropiosproblemasyquecometenlamayoríadelosdelitosdelaciudad.

¿Y qué pasaría si la policía buscase otro tipo de delitos? Esto puede parecercontradictorio,yaquelamayoríadenosotros,incluidalapolicía,tenemoslaimagendeunapirámidecuandopensamosenladelincuencia.Enlacúspide,seencuentraelhomicidio.Lesiguenlaviolaciónylaagresión—máscomunes—,yluegoelhurto,los pequeños fraudes y las infracciones de aparcamiento—queocurren a diario—.Darprioridada losdelitosqueseencuentranen lacúspidede lapirámidesindudatienesentido.Ylamayoríaestaríamosdeacuerdoenafirmarquereduciralmínimolos delitos con violencia es y debería ser una de las principales misiones de loscuerposdeseguridad.

Pero¿quéocurreconlosdelitosquenoaparecenenloscuadrantesdelosmapasdePredPol,losquecometenlosricos?EnlaprimeradécadadelsigloXXI,losasesdelasfinanzassepegaronlajuergadesusvidas.Mintieron,apostaronmilesdemillonescontra sus propios clientes, cometieron fraudes y untaron a las agencias decalificación.Secometierondelitosaberrantesyelresultadofueunaeconomíaglobaldevastadadurantecasicincoaños.Millonesdepersonasperdieronsushogares, sustrabajosyelaccesoalaatenciónsanitaria.

Existen razones de sobra para creer que en la actualidad se siguen cometiendodelitos de esta índole en el ámbito financiero. Si algo hemos aprendido es que elpropósito que mueve el mundo de las finanzas es conseguir enormes beneficios,cuantos más, mejor, y que cualquier iniciativa de autorregulación resulta inútil.Gracias a sus ricos y poderosos grupos de presión, el sector financiero estáinfravigilado.

Imaginemos por unmomento que la policía aplicara su estrategia de toleranciaceroalámbito financiero.Arrestaríana lagentepor lamínima infracción,ya fueraporestafaralosinversoresdelosplanesdepensionescondesgravaciónfiscal401k,porprestarasesoríaengañosaoporcometerpequeñosfraudes.AlomejorveríamosaloscuerposespecialesdelosSWATirrumpirenGreenwich(Connecticut)oquizálapolicíasecretavigilaríalosbaresdelosalrededoresdelaBolsadeChicago.

Nadaprobable,desdeluego.Lospolisnotienenlosconocimientosespecializadosnecesarios para ese tipo de trabajo. Todo lo relacionado con su trabajo, desde suformación hasta los chalecos antibalas, está adaptado a las peligrosas calles. Para

www.lectulandia.com-Página74

Page 75: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

ponercercoa losdelitosdeguanteblancohacen faltapersonasconherramientasyhabilidades diferentes. Los responsables de esta tarea, desde el FBI hasta losinvestigadores de laComisión deBolsa yValores deEstadosUnidos, cuentan conpocosefectivosyescasosmedioseconómicos,yllevandécadascomprobandoquelosbanqueros son prácticamente intocables. Los banqueros inviertenmucho dinero ennuestrospolíticos,algoquesiempreayuda,yademásselesconsideraimprescindiblespara nuestra economía. Y eso los protege. Si los bancos se van a pique, nuestraeconomíapodría hundirse con ellos (aunqueno afectaría demasiado a las personaspobres). Por lo que, exceptuando algunos casos, como el delmaestro del esquemaPonzi Bernard Madoff, los financieros nunca son arrestados. Como colectivo,salieron prácticamente ilesos del derrumbe delmercado de 2008. Después de eso,¿quépodríaocurrirquerealmentellegaseaafectarles?

Loquequierodeciresquelapolicíadecidehaciadóndedirigirsuatención.Hoyendíasecentracasiexclusivamenteenlospobres.Estaessuherenciaysumisión,talycomolaconcibe,Yahoraloscientíficosdedatosestánfijandoestestatuquodelordensocialatravésdemodelos,comoPredPol,cuyainfluenciaennuestrasvidasescadavezmayor.

ElresultadoesquePredPolrepresentaalavezunaherramientadesoftwareútileinclusoconbuenosprincipiosyunaauténticaADMcasera.Enestesentido,inclusocuandoseutilizaconlasmejores intenciones,PredPolconfierea losdepartamentosdepolicíalacapacidaddeponeralospobresenelpuntodemira,pararamuchosdeellos,arrestaragranpartedelosqueparanyenviaramuchosdeestosúltimosalacárcel.Ylos jefesdepolicía,en lamayoríade loscasos,estánconvencidosdequeaplican la única vía sensata para acabar con la delincuencia. «Aquí está», dicenapuntandoalguetodeturnoseñaladoenelmapa.Yahoracuentancontecnologíasdevanguardia(quefuncionangraciasalbigdata)paraconfirmarsupostura,al tiempoqueaumentanlaprecisiónyel«caráctercientífico»delproceso.

Elresultadoesquecriminalizamoslapobreza,convencidosentodomomentodequenuestrasherramientasnosolosoncientíficas,sinotambiénjustas.

***

Unfindesemanade laprimaverade2011,asistíaunhackatóndedatosenNuevaYork. El objetivo de este tipo de eventos es reunir a hackers, empollones,matemáticos y frikis informáticos, y movilizar toda esa capacidad intelectual paraarrojar luz sobre los sistemasdigitalesque tantopoder tienen sobrenuestrasvidas.Me tocó trabajarcon laUniónpor lasLibertadesCivilesdeNuevaYork (NYCLU,porsussiglaseninglés),ynuestralaborconsistíaenanalizarlosdatosdeunadelasprincipalespolíticascontraladelincuenciadelapolicíadeNuevaYork:loscontrolespolicialesconinterrogatorioycacheo.Estapráctica,másconocidaporlamayoríade

www.lectulandia.com-Página75

Page 76: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

la gente como controles policiales con cacheo (stop and frisk en inglés), habíaaumentadodemaneradrásticaenlaeradelosdatosdeCompStat.[96]

La policía consideraba esta medida como una herramienta de cribado paraidentificaralosdelincuentes.Laideaesmuysencilla.Losagentesdepolicíaparanalaspersonasquelesparecensospechosas,yaseaporsumaneradeandarodevestir,opor sus tatuajes. Hablan con ellas y las examinan, a menudo mientras están conbrazosypiernasextendidoscontralaparedosobreelcapódeuncoche.Lespidensudocumentación y las cachean. Si paran a un número suficiente de personas,argumentan, se evitará una gran cantidad de delitosmenores y puede que tambiénalgunos más graves. Esta política, implantada por la administración del alcaldeMichaelBloomberg,contóconungranapoyopopular.Durantelaprimeradécadadelsiglo XXI, el número de controles aumentó un 600 %, llegando a casi 700.000incidentes.[97] La gran mayoría de las personas controladas por la policía eraninocentes. Para estas personas, estos encuentros eranmuy desagradables, e inclusoexasperantes. No obstante, gran parte del público asoció este programa con elpronunciado declive de la delincuencia en la ciudad. Tenían la sensación de queNuevaYorkeramássegura.Ylasestadísticasapuntabanenlamismadirección.Loshomicidios, que ascendían a 2245 en 1990, bajaron a 515 (e incluso cayeron pordebajode400en2014).[98]

Todoelmundosabíaqueunnúmerodesproporcionadodelaspersonasalasqueparabalapolicíaeranhombresjóvenesdepieloscura.Pero¿acuántosparaban?¿Ycon qué frecuencia acababan dichos encuentros en arrestos o conseguían impediractos delictivos? Aunque esta información era técnicamente pública, en su mayorparteestabaalmacenadaenunabasededatosalaqueeradifícilacceder.Elsoftwareno funcionabaennuestrosordenadoresnipodíavolcarseenhojasdeExcel.Por lotanto,nuestralaborenelhackatónconsistíaenforzarelprogramayliberarlosdatospara que todos pudiéramos analizar la naturaleza y la efectividad del programa decontrolespoliciales.

Loquedescubrimos,aunquenonossorprendióenabsoluto,fuequeunamayoríaaplastantedeloscontroles—cercadel85%deellos—sehacíanahombresjóvenesafroamericanosolatinos.[99]Enciertosbarrios,losmismosjóveneserancontroladosunayotravez.Aunquesoloel0,1%,ounadecadamilpersonascontroladas,teníaalguna relación con un delito violento,[100] este filtro capturaba amuchas personaspordelitosmenores,desdeposesióndedrogashastaconsumodealcoholpormenoresdeedadquehubieranpasadodesapercibidossinoseestuvieraaplicandoestamedida.Algunas de estas personas, como cabe esperar, se enojaban, y buenaparte de ellasacababanconcargosporresistenciaalaautoridad.

La NYCLU demandó a la administración Bloomberg por considerar que lapolíticadecontrolespolicialeseraracista.[101]Setratabadeunejemplodevigilanciapolicialdesigual,queempujabaconmayorfrecuenciaalosmiembrosdelasminoríasa entrar en el sistema de justicia penal y en la cárcel. Los hombres negros,

www.lectulandia.com-Página76

Page 77: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

argumentaban, tenían seis veces más probabilidades de ser encarcelados que losblancosyveintiunavecesmásdeserasesinadosporlapolicía,almenosconformealos datos disponibles (que, como es bien sabido, suelen estar por debajo de larealidad).

LoscontrolespolicialesnosonexactamenteunADM,puestoquedependendeunjuiciohumanoynoestánformalizadosenunalgoritmo.Sinembargo, laaplicacióndeestamedidarespondeauncálculosencilloydestructivo.Silapolicíaparaamilpersonasendeterminadosbarrios,descubrirá,demedia,aunsospechososignificativoy a otros muchos sospechosos de delitos menores. Esto no difiere tanto de loscálculos de posibilidades remotas que utilizan los anunciantes depredadores o losspammers. Incluso cuando la ratio de acierto es minúscula, al aumentar lasposibilidades seacabaalcanzandoelobjetivo.Estoayudaacomprenderporquéelprograma creció tantobajo elmandatodeBloomberg.Si haciendo controles a seisvecesmáspersonassemultiplicabaporseiselnúmerodearrestos,lasmolestiasyelacosoquesufríanmilesymilesdepersonasinocentesestabanmásquejustificados.¿Acasoellosnoqueríanacabarconladelincuencia?

Apesardetodo,algunosaspectosdeestoscontrolespolicialessíquerecordabana las ADM. Por ejemplo, esta medida conducía a un bucle de retroalimentaciónperverso.Lamedidaatrapabaamilesdehombresafroamericanosylatinos,muchosde ellos por cometer losmismos delitos y faltasmenores que se repiten, de formaimpune, en las hermandades estudiantiles cada sábado noche. Y, sin embargo,mientrasquelagranmayoríadelosestudiantesuniversitariospodíandormirapiernasuelta tras sus excesos, las víctimas de los controles policiales eran multadas, yalgunasdeellaseranenviadasalinfiernodelacárceldelaIslaRikers.Y,loqueespeor,cadaarrestogenerabanuevosdatos,loquejustificabaaúnmásestapolítica.

A medida que fueron aumentando los controles policiales, el tan respetadoconceptojurídicodelacausaprobablequedóprácticamentedespojadodesentido,yaquelapolicíaperseguíanosoloapersonasqueyahubierancometidoundelito,sinotambiénaaquellosquepudierancometerloenelfuturo.Enocasiones,nocabeduda,lograbansuobjetivo.Alarrestaraunjovenconunbultosospechosoqueresultabaserunarmanoregistrada,quizáevitaranqueseprodujeraunasesinatoounroboamanoarmada,oinclusounaseriederobosenelvecindario.Opuedequeno.Encualquiercaso, esa era la lógica de los controles policiales, y muchos la considerabanconvincente.

Pero¿eraestapolíticaconstitucionalono?Enagostode2013, la jueza federalShiraA.Scheindlindictaminóquenoloera.[102]Afirmóque,deformarutinaria,losagentes «paraban a afroamericanos y latinos, algo que no les ocurriría si fueranblancos».La política de controles policiales, escribió, violaba laCuartaEnmienda,queprotegealosciudadanosderegistroseincautacionesnorazonablesporpartedelGobierno,ynocumplíaconlaprotecciónigualitariagarantizadaporlaDecimocuartaEnmienda.Pidióque se aplicarangrandes reformas a dichapráctica, entre ellas un

www.lectulandia.com-Página77

Page 78: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

mayor uso de las cámaras que llevan los agentes de policía en el uniforme. Estoayudaríaaestablecer lacausaprobable—olafaltadeella—yarestaropacidadalmodelodeloscontrolespoliciales.Aunquenoresolveríaenningúncasolacuestióndelavigilanciapolicialdesigual.

Al analizar lasADM, amenudo nos enfrentamos a la elección entre justicia yeficacia.Nuestrastradicioneslegalesseinclinanfundamentalmentehacialajusticia.La Constitución, por ejemplo, presupone la inocencia y ha sido diseñada paravalorarla. Desde el punto de vista del que construye el modelo, la presunción deinocenciaconstituyeunalimitación,yelresultadoesquealgunaspersonasculpablesquedarán libres, particularmente aquellas que puedan pagarse buenos abogados.Inclusolosacusadosdeclaradosculpablestienenderechoaapelarlasentencia,locualconsumetiempoyrecursos.Así,elsistemasacrificamuchísimaeficienciaennombredelajusticia.EnlalógicaimplícitadelaConstitución,dejarenlibertadaalguienquepudiera haber cometido un delito, por falta de pruebas, es menos peligroso paranuestrasociedadqueencarcelaroejecutaraunapersonainocente.

Las ADM, por el contrario, tienden a priorizar la eficiencia. Por su propianaturaleza,sealimentandedatosmediblesycuantificables.Mientrasquelajusticiaes difícil de medir y cuantificar. Es una idea. Y los ordenadores, a pesar de losavancesen lenguajey lógica, todavía se lasveny se lasdeseancon las ideas.Soncapaces de «entender» la belleza únicamente como una palabra asociada al GranCañón, las puestas de sol en el mar y los consejos estéticos de la revista Vogue.Intentanenvanomedirla«amistad»contandoelnúmerodeclicsen«Megusta»ydecontactosenFacebook.Peseatodo,laideadejusticiaselesescapa,completamente.Los programadores no saben cómo codificarlo y en general sus jefes tampoco lespidenquelohagan.

Porconsiguiente,lajusticianoentraenloscálculosdelasADM.Yelresultadoesunaproducciónmasiva,prácticamenteindustrial,deinjusticia.SiimaginamosqueunADMesunafábrica,lainjusticiaseríaesacosanegraquesaleaborbotonesporlaschimeneas.Esunaemisión,unaemisiónmuytóxica.

Lacuestiónresideensinosotroscomosociedadestamosdispuestosasacrificarun poco de eficiencia en aras de la justicia. ¿Deberíamos limitar los modelosexcluyendo determinados datos? Hay que reconocer, por ejemplo, que incluirgigabytes de datos sobre comportamientos antisociales puede ayudar a PredPol adeterminar las coordenadas cartográficasdedelitosgraves.Sin embargo, esto tieneuncostemuyelevado:unbuclederetroalimentaciónperverso.Porlotanto,consideroquedeberíamosdescartardichosdatos.

Es un argumento complicado de defender, similar en muchos aspectos a lasbatallas sobre los pinchazos telefónicos por parte de la Agencia de SeguridadNacional(NSA,porsussiglaseninglés).Losdefensoresdelasescuchasargumentanque son importantes para nuestra seguridad. Y los que dirigen nuestra enormemaquinariadeseguridadnacionalseguiránexigiendomásinformaciónparacumplir

www.lectulandia.com-Página78

Page 79: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

sumisión.Continuaráninvadiendolaprivacidaddelagentehastaqueentiendanquedeben encontrar otra forma de hacer su trabajo dentro de los límites de laConstitución.Puedequeseamásdifícil,peroesnecesario.

Laotracuestiónqueseplanteaeslaigualdad.¿Estaríalasociedadtandispuestaasacrificarelprincipiodelacausaprobablesitodostuviéramosquesoportarelacosoy la humillaciónde los controles policiales?LapolicíadeChicago tiene supropioprogramadecontrolespoliciales.¿Quéocurriríasi,ennombredelajusticia,enviasenaunmontóndepatrullasalexclusivobarriodeGoldCoast?QuizáarrestaríanalosrunnersporcruzarenrojodesdeelparqueoreprenderíanconmanoduraalosdueñosdeloscanichesquehicieransusnecesidadesenLakeshoreDrive,lacallequerecorreel litoral. Esta intensificación de la presencia policial probablemente serviría paradeteneramáspersonasqueconducenbajolainfluenciadelalcoholyquizásdescubriralgúnqueotrocasodefraudedeseguros,violenciadomésticaochantaje.Deformaocasional,soloparadarlea todoelmundo laoportunidaddeexperimentar lacrudarealidad,losagentesempujaríanaalgúnricachóncontraelmaleterodesuCruiser,leretorceríanlosbrazosylepondríanlasesposas,sinolvidarsedesoltarunascuantaspalabrotasyproferirleterriblesinsultos.

Conel tiempo,estaatenciónespecialaGoldCoastgeneraríadatos.Estosdatosrevelaríanunaumentodeladelincuenciaenlazona,locualatraeríaaúnmáspolicíaala refriega, loqueasuvezprovocaríasindudamás rabiaen losciudadanosymásconflictos. Me imagino a un conductor aparcado en doble fila discutiendo con lapolicía, negándose a salir de su Mercedes y enfrentándose a cargos por oponerresistencia a su detención. No sería más que un delito entre los muchos que secomentenenGoldCoast.

Aunqueestopuedaparecerpocoserio,laigualdadesunelementoesencialdelajusticia. Esto implica, entre otras cosas, experimentar la justicia penal de formaigualitaria.Aquellosqueapoyanpolíticascomoladeloscontrolespolicialesdeberíanvivirlas enprimerapersona.La justicianopuede ser solo algoqueunapartede lasociedadinfligealaotra.

Losdañinosefectosdelavigilanciapolicialdesigual,yaseaporprácticascomoloscontrolespolicialesomediantemodelospredictivoscomoPredPol,no terminanconelarrestodelacusadoysuingresoenelsistemadejusticiapenal.Llegadosaesepunto,muchosdeellosseenfrentaránalADMqueanalizamosenelCapítulo1:elmodelodereincidenciaquegeneradirectricesparaladeterminacióndelascondenas.Los datos sesgados procedentes de la vigilancia policial desigual entran en estemodelo de forma directa y posteriormente los jueces recurren a este análisissupuestamente científico, que se traduce en una única puntuación de riesgo. Losjuecesquesetomanenserioesteresultadoencuentranmotivosparaaplicarcondenasmás largas a los presos que parecen presentar un mayor riesgo de cometer otrosdelitos.

www.lectulandia.com-Página79

Page 80: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

¿Yporquéseconsideraquelospresosquenosonderazablancayquevivenenbarriospobres tienenmásposibilidadesde cometerdelitos?Según losdatosde losmodelosdereincidencia,esporquetienenmásprobabilidadesdeestarenparo,denohaber completado la educación secundaria y de haber tenido algún roce con la leypreviamente.Ysusamigostambién.

Otraformadeleerlosmismosdatos,noobstante,apuntaríamásbienaqueestospresos viven en barrios pobres con centros escolares pésimos y escasasoportunidades. Y, además, esos barrios están sometidos a una fuerte vigilanciapolicial.Por lo tanto, laprobabilidaddequeunexconvictoque regresaa subarriotrassalirdelacárcelvuelvaatenerunencontronazoconlaleyes,sinlugaradudas,mayorqueladealguiencondenadopordefraudaraHaciendaquesaledeprisiónparavolveraunbarrioresidencial.Enestesistema,secastigamásalosquesonpobresynosonderazablancaporserquienessonyvivirdondeviven.

Esmás,paralossistemassupuestamentecientíficos,losmodelosdereincidenciasondefectuososdesdeelpuntodevistadelalógica.Lapremisaquenadiecuestionaesquealencerraralosprisionerosde«altoriesgo»durantemástiempo,lasociedadestarámássegura.Ciertoes,porsupuesto,quelospresosnocometendelitosmientrasestán entre rejas. Pero ¿es posible que su tiempo en prisión influya en sucomportamientocuandosalgan?¿Cabríaalgunaprobabilidaddequelosañospasadosenunentornodespiadado,rodeadosdecriminales,aumentasen,enlugardereducir,laprobabilidaddecometerotrodelito?Taldescubrimientoecharíaportierralospropioscimientos de las directrices para decidir condenas en función del riesgo dereincidencia. Sin embargo, los sistemas penitenciarios, atiborrados de datos, nodesarrollanestaimportantelíneadeinvestigación.Condemasiadafrecuenciautilizanlos datos para justificar el funcionamientodel sistema, peronopara cuestionarloomejorarlo.

Comparemosestaactitudcon ladeAmazon.com.Elgiganteminorista, al igualque el sistema de justicia penal, está altamente orientado hacia una forma dereincidencia.AunqueelobjetivodeAmazoneselcontrario.Amazonquierequesusclientesvuelvanycomprendenuevo.Susistemadesoftwarebuscalareincidenciaylafomenta.

Ahora bien, si Amazon funcionara como el sistema judicial, empezaría porpuntuar a los compradores como reincidentes potenciales. Quizás una mayoría deellos viven en determinados códigos postales o son titulados universitarios. En talcaso,Amazonsepromocionaríamásentreestegrupodepersonas;porejemplo, lesofreceríadescuentos.Siesemarketingfuncionara,aquellosconmayorpuntuaciónentérminos de reincidencia volverían a comprarmás. Con un análisis superficial, losresultadoscorroboraríanelsistemadepuntuacióndeAmazon.

Sin embargo, a diferencia de las ADM de la justicia penal, Amazon no seconformaconestascorrelacionessimplistas.Laempresacuentaconunlaboratoriodedatosy siquiereaveriguarqué impulsa la reincidenciade suscompradores, loque

www.lectulandia.com-Página80

Page 81: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

haceesinvestigar.Suscientíficosdedatosnosoloanalizancódigospostalesyniveleseducativos. También estudian la experiencia de las personas en el ecosistema deAmazon.Enunprimermomento,secentranenlospatronesdelaspersonasquehanrealizadounaodoscomprasenAmazonynohanvuelto.¿Huboalgúnproblemaalterminarlaoperación?¿Suspaquetesllegaronatiempo?¿Quizáunaltoporcentajedeellospublicóunamalavaloración?Laspreguntassemultiplicansinfin,puestoqueelfuturo de la compañía depende de un sistema que se basa en el aprendizajepermanente,quebuscadescubrirquéesloquemuevealosclientes.

Siyotuvieralaoportunidaddetrabajarcomocientíficadedatosparaelsistemajudicial,meesforzaríaporprofundizarlomáximoposibleydescubrir loqueocurreen el interior de esas prisiones y qué impacto tienen esas experiencias en elcomportamiento de los presos. Empezaría analizando el régimen, de aislamiento.Cientosdemilesdepresospasanperiodosdeveintitréshorasaldíaenestascárcelesdentro de la propia cárcel, lamayoría de ellas nomás grandes que losboxesparacaballos.Losinvestigadoreshandescubiertoquepasarmuchotiempoasolasgeneraprofundos sentimientos de abatimiento y desesperanza. ¿Podría esto tener algúnimpactoenlareincidencia?Meencantaríapoderllevaracaboesteanálisis,perodudoquesehayanrecogidosiquieralosdatos.

¿Yquéhaydelasviolaciones?EnUnfair:TheNewScienceofCriminalInjustice,AdamBenforadoescribequeciertostiposdepresossonobjetodeviolacionesenlascárceles.[103] Los jóvenes y de corta estatura son particularmente vulnerables, asícomo aquellos que sufren alguna discapacidad mental Algunas de estas personasvivencomoesclavossexualesduranteaños.Esteesotrotemaimportantequedeberíaser analizado por cualquiera que disponga de los datos y los conocimientosnecesarios, pero los sistemas penitenciarios no han mostrado interés alguno encatalogarlosefectosalargoplazodeestosabusos.

Uncientíficoseriotambiénbuscaríaseñalespositivasasociadasalaexperienciaenprisión.¿Quéefectostienedisponerdemásluzsolar,másactividadesdeportivas,comida más saludable o alfabetización? Tal vez estos factores mejoran elcomportamiento de los convictos cuando recobran la libertad. O, lo que es másprobable, seguramente tendrán un efecto variable. Un programa de investigaciónseriopromovidoporelsistemajudicialahondaríaenlosefectosdecadaunodeestoselementos,encómofuncionanalcombinarseyeneltipodepersonasalasquemáspueden ayudar. El objetivo, si se utilizan los datos de forma constructiva, seríaoptimizar las cárceles —al igual que las empresas como Amazon optimizan suspáginaswebosucadenadesuministro—enbeneficiotantodelospresoscomodelasociedadengeneral.

Sin embargo, las cárceles tienen todos los alicientes posibles para evitar esteanálisisbasadoen losdatos.Los riesgos frentea laopiniónpúblicasondemasiadoaltos—ningunaciudadquiere ser el blancodeun incisivoartículo en elNewYorkTimes—. Y, por supuesto, hay mucho dinero en juego en el abarrotado sistema

www.lectulandia.com-Página81

Page 82: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

penitenciario.Lasprisionesgestionadasporempresasprivadas,queacogentansoloal10%delapoblaciónreclusa,constituyenunsectorde5000millonesdedólares.[104] Al igual que las aerolíneas, estas cárceles privadas obtienen beneficios solocuando funcionan a plena capacidad.[105] Hurgar demasiado podría suponer unaamenazaparaesafuentedeingresos.

Enconsecuencia,enlugardeanalizaryoptimizarlasprisiones,lasconsideramoscomocajasnegras.Lospresosentranenellasydesaparecendenuestravista.Nadiedudaquelamaldadexiste,peroestácontenidadetrásdegruesosmuros.¿Quéocurreahídentro?Mejornopreguntar.Losmodelosactualesseaferranobstinadamentealasospechosaeincuestionadahipótesisquedefiendequeretenerdurantemástiempoenprisiónalospresossupuestamentedealtoriesgonosgarantizaunamayorseguridad.Ycuandoaparecenestudiosquerefutaneserazonamiento,resultafácilignorarlos.

Yestoesprecisamenteloqueocurre.TomemoscomoejemplounestudiosobrereincidenciadeMichaelMuelles-Smith,profesordeEconomíaenMichigan.[106]Trasanalizar 2,6 millones de antecedentes penales en el condado de Harris (Texas),concluyólosiguiente:cuantomástiempopasabanlosreclusosdelcondadodeHarrisen prisión, más probabilidades tenían de fracasar en su intento de encontrar unempleoal salir,denecesitarvalesdecomidauotro tipodeasistenciapúblicaydecometer más delitos. No obstante, para convertir estas conclusiones en políticasinteligentes y conseguir un sistema judicial mejor, los políticos tendrán queposicionarseylucharennombredeunaminoríatemidaquemuchosdelosvotantes,pornodecirlamayoría,prefiereignorar.Noestareafácil.

***

Loscontrolespolicialespuedenparecerintrusivoseinjustos,perodentrodepocolosconsideraremostambiéncomounamedidaprimitiva.Ylarazónesquelapolicíaestárecuperando herramientas y técnicas de la campaña antiterrorista mundial yadaptándolas a la lucha contra la delincuencia a escala local. En San Diego, porejemplo, la policía no solo está parando a los ciudadanos para pedirles que seidentifiquenoparacachearles,sinoque,enocasiones, también les tomanfotosconsusiPadsylasenvíanalserviciodereconocimientofacialbasadoenlanube,quelascotejaconlosregistrosdeunabasededatosdedelincuentesysospechosos.Segúnuninforme publicado en el New York Times, la policía de San Diego utilizó esteprograma de reconocimiento facial con 26.000 personas entre 2011 y 2015.[107]TambiénlestomaronamuchasdeellasmuestrasdesalivaparaextraersuADN.

Los avances en la tecnología de reconocimiento facial pronto permitirán unavigilancia mucho más amplia. Los agentes de policía de Boston, por ejemplo,estuvieronplanteándoseutilizarcámarasdeseguridadparaescanearmilesdecarasenconciertosalairelibre.[108]Estosdatossevolcaríanposteriormenteenunprograma

www.lectulandia.com-Página82

Page 83: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

capaz de comparar cada cara con millones de caras, por segundo. Finalmente losagentes decidieron no aplicar esta medida. Las preocupaciones ligadas a laprivacidad,enesecasoconcreto,primaronsobreloscriteriosdeeficiencia,peronosiempreseráasí.

Amedida que la tecnología avanza, tenemos la certeza de que se producirá unincremento drástico en la vigilancia. La buena noticia, si queremos verle algúnaspecto positivo, es que, cuando haya miles de cámaras de seguridad en nuestrospueblosyciudadesenviandonuestras imágenesparaqueseananalizadas, lapolicíano tendrá que discriminar tanto. Además, es indudable que la tecnología será deutilidadpararastrearalossospechosos,comoocurrióenelatentadodelmaratóndeBoston. Sin embargo, esto también significa que todos seremos sometidos a laversión digital de los controles policiales y que nuestras caras serán cotejadas conbasesdedatosdecriminalesyterroristasconocidos.

Llegados a ese punto, es posible que el foco se traslade a la identificación demalhechorespotenciales, no solo barrios omanzanas en unmapa, sino individuos.Estas campañas de prevención,muy consolidadas en la lucha contra el terrorismo,estánallanandoelcaminoalasADM.

En 2009, el Departamento de Policía de Chicago recibió una subvención de 2millones de dólares del InstitutoNacional de Justicia para desarrollar un programapredictivodeactosdelictivos.[109]LateoríaenlaquesebasabalapropuestaganadorapresentadaporlapolicíadeChicagodefendíaque,conlasuficienteinvestigaciónylossuficientesdatos,seríancapacesdeprobarquelapropagacióndeladelincuencia,igualqueunaepidemia,sigueundeterminadopatrón.Portanto,sepuedepredeciry,consuerte,evitar.

ElresponsablecientíficodelainiciativadeChicagoeraMilesWernick,directordel Centro de Investigación de Imágenes de Diagnóstico Médico del Instituto deTecnologíadeIllinois(ITT,porsussiglaseninglés).Décadasantes,Wernickhabíacolaborado con las Fuerzas Armadas Estadounidenses en el análisis de datos paradetectarobjetivosenelcampodebatalla.Posteriormentesehabíadedicadoalanálisisdedatosmédicos,comolaprogresióndelademencia.Aligualquelamayoríadeloscientíficos de datos, no consideraba que sus competencias estuvieran ligadas a unsectorespecífico.SutrabajoconsistíaendetectarpatronesyenChicagosecentraríaenpatronesdedelitosydedelincuentes.

Enunprimermomento,elequipodeWernickconcentrósusesfuerzosenseñalarpuntos calientes de delitos, de forma similar a como lo hace PredPol. Solo que elequipo deChicago fuemuchomás lejos. Elaboraron una lista de las cuatrocientaspersonasconmayorprobabilidaddecometerundelitoviolentoylasordenaronenunranking en funciónde laprobabilidadque teníandeverse envueltas enuncasodehomicidio.[110]

Unade laspersonasde la lista,unchicodeveintidósañosquehabíadejadoelinstituto,RobertMcDaniel,abriólapuertadesucasaenundíadeveranode2013y

www.lectulandia.com-Página83

Page 84: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

seencontrófrenteaunagentedepolicía.[111]Mástarde,RobertMcDanieldeclaróalChicagoTribunequenoteníaantecedentesportenenciailícitadearmasyquejamáshabíasidoacusadadeningúndelitoviolento.ComolamayoríadeloschicosjóvenesdeAustin,supeligrosobarriodelWestSide,McDanielhabíatenidorocesconlaleyyconocíaamuchagentequehabíaquedadoatrapadaenelsistemadejusticiapenal.Segúndeclaró,elagenteledijoquelaautoridadleteníaelojoechadoyquetuvieracuidado.

PartedelanálisisquecondujoalapolicíahastaMcDanielteníaqueverconsuredsocial. Conocía a delincuentes. Y no cabe duda de que, estadísticamente, es másprobable queunapersona se comporte como las personas con las quepasa tiempoquelocontrario,Facebook,porejemplo,hadescubiertoqueesmuchomásprobableque los amigosque se comunicancon frecuenciapinchenen losmismosanuncios.Diosloscríay,estadísticamentehablando,ellosefectivamentesejuntan.

ParaserjustosconlapolicíadeChicago,hayquedecirquenoestánarrestandoapersonascomoRobertMcDaniel,almenosaúnno.Elobjetivodelapolicíaenestecaso es salvar vidas. Si las cuatrocientas personas que parecen tener másprobabilidadesdecometerdelitosviolentosrecibenunavisitayunaadvertencia,talvezalgunosdeellosselopiensendosvecesantesdeempuñarunarma.

No obstante, analicemos el caso de Robert McDaniel en términos de justicia.Resultaquecrecióenunbarriopobreypeligroso.Enestesentido,tuvomalasuerte.Havivido rodeadodedelincuencia, ymuchosde sus conocidos están atrapados enella. Y en gran medida como consecuencia de estas circunstancias—y no de suspropiosactos—seleconsiderapeligroso.Ahoralapolicíaletieneelojoechado.Ysihace alguna tontería, como le ocurre cada día a millones de estadounidenses, sicompradrogaosemeteenunapeleadebar,osillevaunarmasinlicencia,todoelpeso de la ley caerá sobre él, y posiblemente con más severidad que la que seaplicaríaalrestodenosotros,Alfinyalcabo,estabaadvertido.

Enmi opinión, elmodelo que llevó a la policía a llamar a la puerta deRobertMcDanielpersigueunobjetivoerróneo.Enlugardeintentarsimplementeerradicarelcrimen,lapolicíadeberíatrabajarparaconstruirrelacionesenelvecindario.Estefueuno de los pilares del estudio de las «ventanas rotas» original. Los agentespatrullaban a pie, hablaban con la gente, intentaban ayudar a los ciudadanos arespetarsuspropiasnormascomunitarias.Sinembargo,eseobjetivosehaperdidoenmuchos casos, aplastado por los nuevos modelos que equiparan arrestos conseguridad.

Tampocoesesteelcasoentodossitios.RecientementeestuvevisitandoCamden(NuevaJersey),laciudadconmásasesinatosdetodoelpaísen2011.PudedescubrirqueelDepartamentodePolicíadeCamden,reconstruidoypuestobajoelcontroldelestadoen2012,tieneunadoblemisión:reducirelcrimenygenerarconfianzaenlacomunidad.Cuandoelobjetivoesconstruirconfianza,lasdetencionesseconsideranel último recurso, no el primero. Esta actitud,más empática, podría atemperar las

www.lectulandia.com-Página84

Page 85: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

relaciones entre la policía y los sujetos vigilados, además de reducir el número detragedias como las que se han producido en los últimos años: los asesinatos dejóvenesnegrosporpartedelapolicíaylosposterioresdisturbios.

Desdeunpuntodevistamatemático,noobstante, laconfianzaresultadifícildecuantificar. Ese es el reto al que se enfrentan los que trabajan en la creación demodelos.Lamentablemente,esmuchomásfácilseguircontandoarrestosyconstruirmodelosqueasumenquetodospertenecemosaunacategoríauotrayquenostratancomo tal.A las personas inocentes que viven rodeadas de delincuentes se las tratamal,mientrasquelosdelincuentesquevivenenunentornodepersonasqueacatanlaleysevanderositas.Y,comoconsecuenciadelafuertecorrelaciónqueexisteentrelapobrezay losdelitosdenunciados, lospobrescontinúanatrapadosenestas redesdigitales,mientrasqueelrestodenosotrosapenasnospercatamosdesuexistencia.

www.lectulandia.com-Página85

Page 86: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

H

06NoaptosparaservirConseguirunempleo

aceunos años, un jovendenombreKyleBehm interrumpió temporalmentesus estudios en la Universidad de Vanderbilt.[112] Tenía trastorno bipolar y

tuvoquedejardeasistiraclaseduranteuntiempopararecibirtratamiento.Unañoymedio después, Kyle se había recuperado y pudo continuar sus estudios en otrauniversidad Aproximadamente en esa misma época, un amigo le habló de laposibilidaddetrabajaratiempoparcialenelsupermercadoKroger.Noeramásqueuntrabajoenunsupermercadocobrandoelsueldomínimo,peroenprincipiopodíadar por hecho que lo contratarían. Su amigo, que iba a dejar el puesto libre, lorecomendaría.ParaunestudianteconbuenasnotascomoKyle,presentarlasolicitudnoseríamásqueunaformalidad.

Sinembargo,nollamaronaKyleparalaentrevista.Cuandopreguntó,suamigoleexplicóquehabíasaltadola«luzroja»eneltestdepersonalidadquehabíahechoalpresentarlasolicituddeempleo.EsetestformabapartedelprogramadeseleccióndeempleadosdesarrolladoporKronos,unaempresadegestióndepersonalconsedeenlas afueras deBoston, CuandoKyle le contó a su padre, Roland, abogado, lo quehabíaocurrido,supadrelepreguntóquétipodepreguntasaparecíaneneltest.Kylelecontóqueeranpreguntassimilaresalasdeltestdel«modelodeloscincograndesfactoresdelapersonalidad»[113]quehabíahechoenelhospital.Estapruebapuntúaalaspersonasencincoáreas:extraversión,amabilidad, responsabilidad, inestabilidademocionalyaperturaanuevasideas.

Enprincipio,noconseguirunempleodesalariomínimoporuntestcuestionablenoparecía tenermucha importancia.RolandBehmanimóa suhijoapresentarseaotrasofertasdeempleo,peroKylesiemprevolvíaconlamismarespuesta.Todaslasempresasalasquepresentabasusolicituddeempleoutilizabanelmismotestynuncaconseguíaunaoferta.Rolandrecordabamástarde:«Kylemedecía:“HiceunexamendeaccesoalauniversidadcasiperfectoyestuveenVanderbilthaceunosaños.Sinosoycapazdeconseguirun trabajoa tiempoparcialconsalariomínimo,¿esquenosirvoparanada?”,Yyolecontestaba:“Nocreoqueseaparatanto”».

Sinembargo,RolandBehmestabadesconcertado.Parecíaqueciertaspreguntassobre salud mental estaban dejando a su hijo fuera del mercado laboral Decidióestudiarlacuestiónyrápidamentedescubrióqueelusodetestdepersonalidadenlosprocesosdeseleccióndepersonaleraunaprácticamuyextendidaentre lasgrandesempresas, aunque apenas encontró unas cuantas impugnaciones jurídicas contra suutilización.Segúnme explicó, las personas que solicitan un empleoy ante las que

www.lectulandia.com-Página86

Page 87: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

saltala«luzroja»raravezdescubrenquelosrechazaronporlosresultadosdeltest.Ycuandolohacen,espocoprobablequetrateneltemaconunabogado.

RolandBehmenviónotificacionesasieteempresas—FinishLine,HomeDepot,Kroger,Lowe’s,PetSmart,WalgreenCo.yYumBrands—para informarlesdequetenía la intención de presentar una demanda colectiva alegando que el uso de esapruebaenelprocesodeseleccióndepersonalerailegal.[114]

En elmomento de la publicación de este libro el juicio aún está pendiente. EsprobablequelosargumentossecentrenenlacuestióndesieltestdeKronospuedeser considerado un examen médico, cuyo uso en los procesos de contratación esilegalconarregloalaLeysobreEstadounidensesconDiscapacidadesde1990.[115]Sifinalmente es así, el tribunal deberá determinar si las empresas contratantes sondirectamenteresponsablesdelincumplimientodedichaleyosiesresponsabilidaddeKronos.

Lacuestiónrelevanteparaestelibroenelcasoqueacabamosdevereslaformaenquelossistemasautomáticosnosjuzgancuandoestamosbuscandoempleoyquécriteriosevalúan.YahemosvistoquelasADMenvenenanelprocesodeadmisiónalauniversidad,tantoparalosricoscomoparalaclasemedia.Porotraparte,lasADMenelsistemadejusticiapenalencierranamillonesdepersonas,lagranmayoríadeellospobresquenunca tuvieron siquiera laoportunidadde ir a launiversidad.Losmiembros de cada uno de estos grupos se enfrentan a dificultades radicalmentediferentes,perotambiéntienenalgoencomún.Todos,alfinal,necesitanunempleo.

Antes,encontrartrabajosolíadependerengranmedidadeaquiénseconociera.Dehecho,KyleBehmestabasiguiendolavíatradicionalcuandosolicitóunempleoenelsupermercadoKroger,SuamigolehabíaavisadodelavacanteyhabíahabladobiendeélDurantedécadas,asíhasidocomoseconseguíaponerunpiedentrodelproceso de selección, independientemente de que se tratara de una tienda decomestibles,de losmuelles, deunbancoodeunbufetede abogados.Después loscandidatossolíanpasarunaentrevista,durantelaqueundirectivointentabahacerseunaideadecómoeranlosposiblesfuturosempleados.Amenudoestosetraducíaenunúnicojuiciobásico:¿esestapersonacomoyo(ocomootraspersonasconlasquemellevobien)?Elresultadoeraque losdesempleadosqueno teníanningúnamigodentrodelaempresa,especialmentesiproveníandeunaraza,ungrupoétnicoounareligióndiferentes,no teníanoportunidades.Estemecanismodeaccesoa travésdepersonasqueyaestándentrotambiénexcluíaalasmujeres.

Las empresas como Kronos trajeron la ciencia a los recursos humanos de lasempresasenparteparahacerqueelprocesofueramásjusto.ElprimerproductodeKronos, empresa fundada en la década de 1970 por licenciados del MIT, fue unnuevotipoderelojdeficharequipadoconunmicroprocesadorquesumabalashorasdelosempleadosycreabainformesautomáticos.[116]Estopuedeparecerbanal,perosupusoelprincipiodelossistemaselectrónicosparahacerelseguimientodelamanodeobrayoptimizarla(yqueahorasiguenevolucionandoatodavelocidad).

www.lectulandia.com-Página87

Page 88: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Alircreciendo,Kronosdesarrollóunaampliagamadeherramientasdesoftwarepara la gestión de lamano de obra, incluido un programa informático,WorkforceReady HR, que prometía eliminar «las conjeturas» en la contratación, según supáginaweb:«Podemosayudarlea seleccionar, contratar e integrar a loscandidatosque conmayor probabilidad serán productivos, los empleadosmás adecuados querendiránmásypermaneceránmástiempoenlaempresa».[117]

Kronos forma parte de un sector floreciente. Los procesos de selección ycontrataciónseestánautomatizandoymuchosdelosnuevosprogramasincluyentestde personalidad como el que hizo Kyle Behm. Este negocio representa en laactualidad 500millones de dólares estadounidenses anuales y está creciendo a unritmodeentreel10%yel15%cadaaño,segúnHoganAssessmentSystemsInc.,unaempresade realizaciónde test.[118]Estaspruebas seutilizanahoraconentreel60%yel70%delostrabajadorespotencialesenEstadosUnidos,encomparacióncon entre el 30% y 40% hace unos cinco años, según las estimaciones de JoshBersin,delaconsultoraDeloitte.[119]

Evidentemente,estosprogramasdeselecciónycontrataciónnopuedenincorporarinformaciónsobrecómoserárealmenteelrendimientodeltrabajadorenlaempresa.Esopertenecealfuturoy,porlotanto,noseconoce.Demodoque,aligualqueotrosmuchosprogramasdebigdata, empleanvalores sustitutivosoproxies.Y, comoyahemosvisto,losvaloressustitutivossonimprecisosy,amenudo,injustos.Dehecho,el Tribunal Supremo de Estados Unidos dictaminó en un caso de 1971, Griggs c.Duke PowerCompany, que los test de inteligencia en los procesos de selección ycontrataciónerandiscriminatoriosy,porconsiguiente,ilegales.[120]Podríamospensarquedichocasodeberíahaberdespertadounexamendeconciencia,pero,enlugardeello, el sector simplemente optó por emplear sustitutos, incluidos los test depersonalidadcomoelqueactivólasalarmasfrenteaKyleBehm.

Incluso si excluimos cuestiones como lo que es justo y legal, la investigaciónsugierequelostestdepersonalidadsonindicadorespocofiablesalahoradepredecirel rendimiento en el trabajo. Frank Schmidt, un profesor de Administración deEmpresasdelaUniversidaddeIowa,analizódatossobrelaproductividadenellugardetrabajodetodounsigloconelobjetivodemedirelvalorpredictivodeunaseriedeprocesosdeselección.[121]Los testdepersonalidadobtuvieronunapuntuaciónbajaenlaescala,conunosresultadosdeprediccióndesolounterciofrentealapredicciónlograda por las pruebas cognitivas, y también con resultados muy inferiores a lascomprobaciones de las referencias. Esto resulta particularmente irritante cuandotenemosencuentaque,segúndemuestralainvestigación,ciertostestdepersonalidadpuedenayudaralosempleadosaconocersemejor.Estaspruebaspuedenutilizarseenla construcción de equipos de trabajo y paramejorar la comunicación.Al fin y alcabo,creanunasituaciónenlaquelaspersonasreflexionandeformaexplícitasobrecómocolaboran,yestesencillopropósitopuededar lugarporsímismoaunmejorentorno de trabajo. En otras palabras, si el objetivo que definimos es que los

www.lectulandia.com-Página88

Page 89: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

trabajadores sean más felices, los test de personalidad pueden resultar unaherramientaútil.

Sin embargo, en lugar de emplearlos con ese propósito, se utilizan como filtropara eliminar a cuantos más candidatos mejor. «La principal finalidad del test—cuenta Roland Behm— no es encontrar al mejor empleado, sino excluir a tantaspersonascomoseaposibledelamaneramásbarataposible».[122]

Podríamos pensar que será fácil hacer trampas en los test de personalidad. SihacemosunodelostestdeloscincograndesfactoresdepersonalidadpublicadosenInternet,parecepancomido.Unadelaspreguntases:«¿Tienefrecuentescambiosdehumor?», y probablemente lo más inteligente sea contestar: «Totalmente endesacuerdo».Otradelaspreguntases:«¿Seenfadaconfacilidad?»,yaquídenuevohayquecontestarqueno.Seguroqueningunaempresaquierecontrataraunapersonademasiadoimpulsiva.

Efectivamente,lasempresaspuedentenerproblemassiexcluyenaloscandidatosbasándose en esas preguntas. Los organismos reguladores de Rhode IslanddescubrieronqueCVSPharmacyestabaexcluyendodeformailegalalossolicitantesdeempleoconenfermedadesmentalesalencontraruntestdepersonalidadquepedíaaloscandidatosqueexpresaransuacuerdoodesacuerdoconafirmacionescomo:«Lagentehacemuchascosasqueleenfadan»;o:«Nosirvedenadateneramigosíntimos;siempre acaban decepcionando».[123] Es más difícil meterse en problemas si seempleanpreguntasmáscomplejas,enlasqueresultamáscomplicadohacertrampasy, por lo tanto, muchos de los test que se utilizan en la actualidad obligan a loscandidatosahacereleccionesdifíciles,ante lasqueprobablementepensarán,conelcorazónencogido:«Hagaloquehaga,estoyperdido».

McDonald’s,porejemplo,preguntabaa loscandidatosqueeligierancuálde lassiguientes frases los describía mejor: «Es difícil estar alegre cuando hay tantosproblemasdelosquepreocuparse»;o:«Avecesnecesitoquemedenunempujoncitoparaempezaratrabajar».

El Wall Street Journal pidió a un psicólogo industrial. Tomas Chamorro-Premuzic, que analizara preguntas espinosas de este tipo.[124] Según su análisis, laprimera frase representaba «diferencias individuales en inestabilidad emocional ydiligencia»y lasegunda,«escasaambiciónydinamismo».Demodoqueelposibletrabajadorestáobligadoadeclararseculpabledeseromuynerviosooperezoso.

UnadelaspreguntasdeltestdeKrogereramuchomássencilla:«¿Quéadjetivoledescribemejorcomotrabajador:únicouorganizado?».

Tomas Chamorro-Premuzic dice que contestar «único» capta «un elevadoconcepto de símismo, apertura y narcisismo»,mientras que «organizado» expresaresponsabilidadyautocontrol.

Hay que señalar que no existe la opción de contestar: «Todo lo anterior». Loscandidatos tienen que elegir una de las dos opciones, sin tener ni idea de cómo elprograma interpretará su respuesta. Y seguro que una parte del análisis llegará a

www.lectulandia.com-Página89

Page 90: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

conclusionespocofavorecedoras.SinosacercamosaunaclasedeeducacióninfantilencualquierlugardeEstadosUnidos,porejemplo,seguroqueoímosalasmaestrasrepetirlesunayotravezalosniñosquesonúnicos.Intentanalimentarsuautoestimay, además, les están diciendo la verdad. Sin embargo, doce añosmás tarde, si esemismo niño elige la palabra «único» en un test de personalidad que tenga quecompletar al solicitar un empleo de salario mínimo, es posible que el programainterpretelarespuestacomounaalarma:¿quiénquieretrabajadoresnarcisistasensuempresa?

Los defensores de los test dicen que están compuestos por un gran número depreguntasyquenoseeliminanuncaaunapersonaporunaúnicarespuesta,aunqueciertospatronesderespuestaspuedenexcluirlay,dehecho,lohacen.Ynosabemoscuálessonesospatrones.Elprocesoescompletamenteopaco.

Y, lo que es peor, una vez que el modelo ha sido calibrado por los expertosespecializados, no recibe prácticamente ninguna retroalimentación. En este casovemosdenuevoun claro contraste con losmodelosdeportivos.Lamayoría de losequiposdebaloncestoprofesional contratanagenios informáticosde losdatosqueejecutanmodelosparaanalizaralosjugadoresempleandodistintasmediciones,comolavelocidadde lospies,elsaltovertical,elporcentajede tiros libresymuchísimasvariablesmás.Conlosresultadosdelmodeloenmano,esposiblequeelequipodeLosAngelesLakersdecidanoficharaunbasedeprimeradelaUniversidaddeDukeporquesusestadísticasenasistenciasonbajas;losbasesdebendarbuenospases.Sinembargo,enlasiguientetemporadadescubrenconconsternaciónqueeljugadorquerechazaronconsigueganarelPremioRookiedelAñoaljugadormásdestacadoensuprimer año en la liga profesional jugando con los Utah Jazz y lidera la liga enasistencias. Si ocurre algo así los Lakers analizarán sumodelo para ver en qué seequivocaron. Es posible que en la estrategia que empleaba su equipo de laUniversidaddeDukeelbaseestuvieraacargodeanotar,loqueperjudicabasuscifrasenasistencias.OtalvezaprendieraalgoimportanteenUtahqueleayudóamejorarmucho sus pases. Sea cual sea el caso, esta información les permite trabajar paramejorarsumodelo.

AhoraimaginemosqueKyleBehm,despuésdehabersidoexcluidodelprocesode selección deKroger, acaba trabajando enMcDonald’s y allí se convierte en untrabajadorexcepcional.Alcabodecuatromesesestáalfrentedelacocinayalcabode un año dirige la franquicia entera. ¿Se molestará alguno de los directivos deKrogerenanalizareltestdepersonalidadeinvestigarporquéseequivocarontanto?

Seguroqueno.Ladiferenciaeslasiguiente:losequiposdebaloncestogestionanpersonas individuales con un valor potencial demillones de dólares cada una. Sussistemasanalíticossoncrucialesparasuventajacompetitivayestánávidosdedatos.Sin retroalimentación constante, sus sistemas se quedan anticuados y resultaninútiles. Por el contrario, las empresas que contratan a trabajadores por el sueldomínimo, gestionan rebaños.Recortan en gastos sustituyendo a los profesionales de

www.lectulandia.com-Página90

Page 91: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

recursos humanos pormáquinas y estasmáquinas filtran grandes poblaciones parareducirlas a grupos más fáciles de gestionar. A menos que ocurra algo realmentegraveentrelostrabajadores—comounbrotedecleptomanía,porejemplo,oquelaproductividad se desplome— la empresa no tiene razón alguna para modificar elmodelo de filtrado. Cumple su función (aunque no identifique a las posiblesestrellas).

La empresa puede estar satisfecha con el statu quo, pero las víctimas de estesistema automático sufren. Y como ya sospechará a estas alturas el lector, en miopiniónlostestdepersonalidaddelosdepartamentosdeselecciónycontratacióndepersonalsonADM,Cumplentodoslosrequisitosparaserlo.Enprimerlugar,suusoestágeneralizadoytienenunenormeimpacto.ElexamendeKronos,contodossusdefectos,sehaextendidoagranpartedelaeconomíadeselecciónycontratacióndepersonal.Esobvioquebajoelstatuquoanterior, losempleadores teníansesgos,escierto,peroesossesgosvariabandeunaempresaaotra,demodoquesepodíaesperarqueenalgúnsitiounapuertaseabrieralosuficienteparadejarpasarapersonascomoKyleBehm.Sinembargo,estocadavezesmásdifícil.Enciertosentido,Kyletuvosuerte.Loscandidatosaunpuestodetrabajoenunaempresa,especialmenteaquellosquesepresentanaofertasdetrabajoporelsueldomínimo,recibenunanegativatrasotrayraravezdescubrenporqué.FuesimplementecuestióndesuertequeelamigodeKyleseenteraradelarazóndequelorechazaranyqueselocontaraaél.Inclusoen estas circunstancias, el caso contra los grandes usuarios de Kronos no hubierasiquieratomadoformasinofueraporqueelpadredeKyleeraabogado,unabogadoconelsuficientetiempoydinerocomoparamontarunademandacolectiva.Estonoesalgoqueseplanteenhacerhabitualmentelosdemandantesdeempleodebajonivelsociocultural.[125]

Por último, pensemos en el bucle de retroalimentación que crea el test depersonalidad deKronos. El test excluye a las personas l con ciertos problemas desaludmental, lo que les impide tener un empleo normal y llevar una vida normal,aislándolasaúnmás.YestoesprecisamenteloquesesuponequedebeevitarlaLeysobreEstadounidensesconDiscapacidades.

***

Afortunadamente, lamayoría de demandantes de empleo no son excluidos por lossistemas automáticos, aunque siguen teniendo que enfrentarse a la dificultad deconseguirque su solicitudaterriceentre lasprimerasdelmontónyabrirseasípasohasta la entrevista. Esta fase ha sidomuy problemática desde hacemucho tiempoparalasminoríasracialesyétnicasyparalasmujeres.

En2001y2002,antesdequesegeneralizaraelusodeloslectoresautomáticosdecurrículos, unos investigadores de la Universidad de Chicago y delMIT enviaron5000 currículos falsos a ofertas de empleo anunciadas en él Boston Globe y el

www.lectulandia.com-Página91

Page 92: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

ChicagoTribune.[126]Lasofertasdeempleoibandesdetrabajosadministrativoshastala atención al cliente y las ventas. Los currículos fueron modelados con distintasrazas.EnlamitaddeellosaparecíannombrestípicamenteblancoscomoEmilyWalshy Brendan Baker, mientras que en los demás, con cualificaciones similares, habíanombres como Lakisha Washington y Jamaal Jones, que sonaban a nombresafroamericanos. Los investigadores observaron que los nombres blancos recibieronun50%másdellamadasquelosnegros.Aunquehubounhallazgosecundarioquizáinclusomás llamativo. Los demandantes blancos con buenos currículos recibieronmuchamásatenciónquelosqueteníancurrículosmenosimpresionantes;parecíaquelosencargadosderecursoshumanosprestabanatenciónal leer loscurrículosde losdemandantes blancos. Sin embargo, entre los demandantes negros, los buenoscurrículosapenasmarcabanalgunadiferencia.Eraevidentequeelmercadodetrabajoseguíaenvenenadodeprejuicios.

Lamanera ideal de sortear estos prejuicios es considerar a los demandantes deempleo de forma ciega. Las orquestas, que habían estado siempre dominadas porhombres, empezaron en la década de 1970, como es bien sabido, a celebrar lasaudiciones con el músico oculto detrás de un biombo.[127] Al hacerlo así, loscontactosylasreputacionesyanocontabannada,ni larazadelmúsico,nisualmamater,Lamúsicaqueseoía traselbiombohablabaporsísola.Desdeentonces,elporcentajedemujeresquetocanenlasgrandesorquestassehamultiplicadoporcinco—aunquesiguenrepresentandosolouncuartodeltotal—.

Elproblemaesqueexistenpocasprofesionesenlasquesepuedaorganizarunaprueba tan imparcialpara loscandidatos.Losmúsicosdetrásdeunbiombopuedenrealmenteejecutareltrabajoparaelquesepresentan,independientementedequeseaelconciertoparavioloncheloyorquestadeDvorakounabossanovaconlaguitarra.En otras profesiones, los empleadores tienen que buscar en los currículos Lascualidadesquequizálesayudenapredecireléxito.

Como se puede suponer, los departamentos de recursos humanos emplean lossistemasautomáticosparareducireltamañodelasmontañasdecurrículos.Dehecho,aproximadamenteel72%deloscurrículosnosonnuncavistosporelojohumano.[128] Los programas informáticos los revisan y extraen las competencias yexperienciasquebuscaelempleador.Despuéspuntúancadacurrículoenfuncióndesucorrespondenciaconlavacanteencuestión,Yfinalmenteseránlaspersonasquetrabajaneneldepartamentoderecursoshumanosquienesdecidandóndeestáelcorte,perocuantosmáscandidatospuedaneliminarenesteprimercribado,menoshorasdetrabajo humano tendrán que dedicar a procesar los currículos con mayorespuntuaciones.

Porlotanto,losdemandantesdeempleodebenredactarsuscurrículospensandoen el lector automático. Es importante, por ejemplo, salpicar generosamente elcurrículo con las palabras específicas que se buscan para el puesto de trabajo encuestión.[129]Estaspalabraspuedensercargos(directordeventas,directorfinanciero,

www.lectulandia.com-Página92

Page 93: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

arquitectodesoftware),lenguas(chinomandarín,Java)onotas(summacumlaude,elEagleScout[rangomáximodelosboyscouts]).

Las personas con la información más actualizada descubren qué es lo que lasmáquinas aprecian y qué las enreda. Las imágenes, por ejemplo, son inútiles. Lamayoría de los escáneres de currículos aún no las procesan. Y las tipografíassofisticadas no hacenmás que confundir a lasmáquinas, nos cuentaMonaAbdel-Halim, cofundadora de Resunate.com, una herramienta para solicitar empleo. LastipografíasmássegurassonlasfuentessencillastipovanillacomoArialyCourier.Ynadadeincluirsímboloscomo,porejemplo,flechas.Nohacenmásqueconfundirlotodo,eimpidenalossistemasautomáticosanalizarcorrectamentelainformación.

Lo que ocurre con estos programas, igual que veíamos en la admisión a lasuniversidades, es que aquellos que tienen el dinero y los recursos necesarios paraprepararsuscurrículosbien,aparecenentre losprimeros.Porotraparte, losquenotoman estasmedidas quizá no descubran nunca que están enviando sus currículosdirectamentealapapelera.Esteesotroejemploenelquevemosquelosricosybieninformadostienenventaja,mientrasquelospobresprobablementesaldránperdiendo.

Para ser justos, debemos reconocer que el mercado laboral siempre ha estadosesgado de un modo u otro. En otras generaciones, los que estaban más al díaorganizaban cuidadosamente los distintos puntos de su currículo con claridad ycoherencia,losredactabanenunordenadordecalidad,comounIBMSelectricylosimprimían en papel de alto gramaje. Esos currículos tenían más posibilidades desuperarelcribadodeloshumanos.Enlamayoríadeloscasos,loscurrículosescritosa mano y los que tenían borrones del mimeógrafo en el que se habían hecho lascopias acababan en la papelera. Por lo que, en este sentido, la desigualdad en elcaminohacialasoportunidadesnoesnadanuevo,simplementeharegresadobajounanueva reencarnación, en esta ocasión para guiar a los ganadores de la sociedad yayudarlesasuperarloscontrolesdelosguardiaselectrónicos.

El trato desigual en manos de estos guardias se extiende mucho más allá delámbito de los currículos. Nuestro sustento depende cada vez más de nuestracapacidad para defender nuestros argumentos ante las máquinas. El más claroejemplo de esto es Google, Para las empresas, ya sea una pensión o un taller decoches,eléxitodependedequeconsiganaparecerenlaprimerapáginaderesultadosdelabúsqueda.Yahora laspersonasseenfrentana lasmismasdificultades,yaseaparaintentarponerunpiedentrodeunaempresa,paraconseguirunascensooinclusoparasobreviviralastandasdedespidos.Laclaveestáendescubrirloquebuscanlasmáquinas. Sin embargo, en este caso vuelve a repetirse lo que ya hemos vistoanteriormente: en este universo digital que se anuncia como justo, científico ydemocrático, los que ya están dentro encuentran la manera de sacar una ventajacrucial.

***

www.lectulandia.com-Página93

Page 94: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

En ladécadade1970, la secretaríade laFacultaddeMedicinadelHospital deSt.George, en Tooting, un distrito del sur de Londres, identificó una oportunidadinteresante. Recibíanmás de doce solicitudes por cada una de las 150 plazas quesacaban cada año y estudiar todas esas solicitudes suponía mucho trabajo, querequería la dedicación de varias personas.[130] Además, dado que cada una de laspersonas que participaban en la selección de solicitudes tenía diferentes ideas ypredilecciones, el proceso era algo caprichoso. ¿Sería posible programar unordenador para que clasificara las solicitudes y redujera la selección final a unnúmeromásfácildemanejar?

GrandesorganizacionescomoelPentágonoeIBMutilizabanyaordenadorespararealizaresetipodetrabajo,peroelqueunafacultaddemedicinadiseñarasupropioprograma de evaluación automática a finales de la década de 1970, justo cuandoApplesacabasuprimerordenadorpersonal,eraunatrevidoexperimento.

Y resultó un absoluto fracaso. La Facultad de St George no solo fueexcesivamente precoz en su utilización de los modelos matemáticos, sino quetambiénfueunainvoluntariapioneradelasADM.

Al igual que ocurre con otras muchas ADM, el problema se originó desde elprincipio, cuando se definió el doble objetivo del modelo. El primer objetivo eraincrementar la eficiencia,para lo cual lamáquinadebíaocuparsedegranpartedeltrabajomáspesado.Eliminaríaselectivamentelassolicitudesmenosinteresantesparapasardelasdosmilinicialesaungruporeducidodequinientasy,enesepunto,losseres humanos tomarían el relevo con un proceso de entrevistas más extenso. Elsegundo objetivo era la justicia. El ordenador no estaría influido por el estado deánimo o los prejuicios de los cargos directivos de la facultad ni por peticionesurgentesdeloresoministros.Enesteprimercribadoautomático,todosloscandidatosserianjuzgadosconformealosmismoscriterios.

¿Y cuáles serían esos criterios? Eso parecía ser la parte fácil. La facultad yacontabaconextensosarchivosdelaselecciónquesehabíahechoenañosanteriores.Habíaqueenseñaralsistemainformáticoareplicar losmismosprocedimientosquelos seres humanoshabían aplicadopreviamente.Comoel lector podrá imaginar, elproblemaestabaprecisamenteenesainformacióndepartida.Elordenadoraprendiódeloshumanosadiscriminaryrealizódichatareaconpasmosaeficiencia.

En defensa de los cargos directivos de St George diremos que no toda ladiscriminaciónqueseencontrabaenlosdatosutilizadosparaenseñaralprogramaeraabiertamente racista. Un importante número de las solicitudes con nombresextranjeros o de direcciones en el extranjero eran de personas que claramente nohabíanllegadoadominarlalenguainglesa.Enlugardeconsiderarlaposibilidaddequelosbuenosmédicospodíanaprenderinglés,algoqueresultaobviohoyendía,loquesehacíaentonceserasimplementerechazarlos(alfinyalcabo,lafacultadteníaquedescartartrescuartaspartesdelassolicitudesyesaparecíaunamanerafácildeempezar).

www.lectulandia.com-Página94

Page 95: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Y bien, mientras que los seres humanos que trabajaban en St. George habíanrechazado durante años solicitudes llenas de errores gramaticales y faltas deortografía, al ordenador —en realidad también analfabeto— le costaba imitarlos,aunquesíqueeracapazdeestablecerunarelaciónentrelassolicitudesrechazadasenel pasado y los lugares de nacimiento de los solicitantes y, enmenormedida, losapellidos. De modo que las personas de ciertos lugares, como África, Pakistán ybarriosdeinmigrantesenelReinoUnido,recibíanmenospuntuacionesglobalesynoeran convocadas ala fase de entrevistas. Una cantidad desproporcionada de estoscandidatos eran personas que no eran blancas. Los seres humanos también habíanrechazadoa lasmujeres,conla justificacióndesgraciadamentedemasiadofrecuentede que sus carreras se verían probablemente interrumpidas por los deberes de lamaternidad,Lamáquina,naturalmente,hizolomismo.

En1988,laComisióndeIgualdadRacialdelGobiernobritánicodictaminóquelaFacultaddeMedicinadeSt.Georgeeraculpabledediscriminaciónracialycontralasmujeresensupolíticadeadmisiones.Segúnlacomisión,hastasesentasolicitudesdelas dos mil que recibían cada año podrían haber sido excluidas de la fase deentrevistasúnicamenteporrazonesderaza,etniaosexo.

Lasoluciónpara losexpertosenestadísticasdeSt.George—asícomodeotrossectores— sería construir una versión digital de una audición ciega en la que seeliminanlosvaloressustitutivoscomolageografía,elsexo,larazaoelnombreyseprestaúnicamenteatencióna losdatosrelevantespara losestudiosdemedicina.Laclaveconsisteenanalizarlashabilidadesquecadacandidatoocandidataaportaalafacultad, en lugar de juzgarlos por comparación con otras personas que parecensimilaresaellos.Porotraparte,sihubieranaplicadoalgodepensamientocreativoenStGeorge, podrían haber resuelto el problemade lasmujeres y los extranjeros.ElinformedelBritishMedicalJournalqueacompañabaeldictamendelacomisiónloexplicabaclaramente.Sielidiomaylosproblemasrelacionadosconloscuidadosdelos hijos eran un inconveniente para unos candidatos que por lo demás eran muyprometedores, la solución no consistía en rechazar a esos candidatos, sino enfacilitarlesayuda—clasesdeinglésounserviciodeguarderíaenlafacultad—paraayudarlesasuperaresasdificultades.

Esteesunpuntoalquevolveréenloscapítulossiguientes;hemosvistounayotravez que losmodelosmatemáticos pueden examinar cuidadosamente los datos paraidentificar a personas que probablemente tendrán que enfrentarse a grandesdificultades, ya sea en el ámbito de la delincuencia, la pobreza o la educación.Lasociedaddebedecidirsiquiereutilizaresainformaciónpararechazarlosycastigarlos,osiprefiereacudiraellosconlosrecursosquenecesitan.Podemosutilizarlaescalayla eficiencia que hacen que lasADM sean tan perniciosas para ayudar a la gente.Tododependedelametaquenosfijemos.

***

www.lectulandia.com-Página95

Page 96: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

En este capítulo hemos analizado hasta el momento modelos que filtran a loscandidatos para un empleo. En la mayoría de las empresas, las ADM han sidodiseñadaspara recortar los costes administrativosy reducir el riesgode contratar apersonasinadecuadas(oapersonasquepuedannecesitarmásformación).Elobjetivodelosfiltroses,enpocaspalabras,ahorrardinero.

Los departamentos de recursos humanos, evidentemente, también hacen loposible por ahorrar dinero a través de sus decisiones de contratación. Uno de losmayoresgastosdeunaempresaeslarotacióndelpersonal.Sustituiraunempleadoquegana50.000dólaresalañolecuestaalaempresaunos10.000dólaresoel20%delsueldoanualdeltrabajador,segúnellaboratoriodeideasCentroporelProgresoEstadounidense.[131]Ysustituiraunempleadodealtonivelpuedecostarvariasvecesesacifra:puedellegaracostarhastaeldobledesusueldoanual.

Evidentemente, muchos modelos que se utilizan en la contratación intentancalcular laprobabilidaddequeelcandidatopermanezcaenlaempresa.Evolv,Inc.,que ahora forma parte de Cornerstone OnDemand, ayudó a Xerox a buscarcandidatos para su centro de atención telefónica, donde trabajan más de 40.000personas.[132]Elmodelode rotacióndepersonal tenía en consideración algunosdelosvaloreshabituales,comoeltiempomedioqueelcandidatohabíapermanecidoensusempleosanteriores,aunquetambiénestablecióalgunascorrelacionesintrigantes.Laspersonasqueelsistemaclasificabacomodel«tipocreativo»solíanmantenersedurantemás tiempo en elmismo empleo,mientras que aquellos que obtenían unapuntuación alta en «curiosidad» presentaban unamayor probabilidad de dirigir susmentesinquisitivashadaotrasoportunidades.

Noobstante,lacorrelaciónmásproblemáticaeralarelacionadaconlageografía.Elmodeloconsiderabaqueeramásprobableque rotaran loscandidatosquevivíanmás lejosde las instalacionesen lasquedebíanejercer su trabajo.Estacorrelacióntienesentido:esagotadorpasarmuchotiempoeneltrayectoaltrabajo.Sinembargo,losdirectivosdeXeroxobservaronotracorrelacióncuriosa.Muchasdelaspersonasquesufríanesoslargosdesplazamientosveníanaltrabajodesdebarriospobres.YhayquedecirafavordeXeroxqueeliminarondelmodeloestosdatosgeográficospeseasu alta correlación con la rotación de personal. La empresa sacrificó un poco deeficienciaacambiodesermásjustos.

Aunque el análisis de la rotación de personal se centra en los candidatos conmayor probabilidad de fracasar, la tarea más estratégicamente vital de losdepartamentosderecursoshumanosconsisteenencontrara lasfuturasestrellas, laspersonascuyainteligencia,inventivaydinamismopuedencambiarelcursodetodalaempresa,En losnivelesmás altosde la economía, las empresas están a la cazadeempleados creativos y que trabajen bien en equipo. El desafío del diseñador delmodeloesidentificar,enelampliomundodelbigdata,losbitsde informaciónqueestánrelacionadosconlaoriginalidadyconlascompetenciassociales.

www.lectulandia.com-Página96

Page 97: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

No basta simplemente con los currículos. La mayoría de los elementos de loscurrículos—unauniversidadprestigiosa, los premios e incluso las competencias—son valores sustitutivos del trabajo de buena calidad.Aunque no hay duda de queexiste cierta correlación entre las destrezas tecnológicas y un título de una de lasmejores universidades, no es una correlación perfecta.Gran parte del talento en elmundodelsoftwarevienedeotros lugares—pensemosenloshackersadolescentes—. Además, los currículos están llenos de exageraciones e incluso mentiras.MedianteunabúsquedarápidaenLinkedInoFacebook,unsistemapuedehacerunanálisismásdetalladoeidentificaralgunosdelosamigosycolegasdeuncandidato,No obstante, sigue resultando difícil convertir esos datos en una predicción quepermita afirmar que un ingeniero concreto sería el empleado perfecto para unaconsultoradedocesociosenPaloAltooFortWorth.Encontraralapersonaadecuadaparaunpuestodeesetiporequiererevisarmuchosmásdatosylautilizacióndeunmodelomásambicioso.

Gild,unastart-upconsedeenSanFrancisco,espioneraenestecampo.[133]Gildvamuchomásalládelaalmamaterodelcurrículodeuncandidato:revisamillonesde sitios web de empleo y analiza lo que denomina los «datos sociales» de cadapersona.Laempresadesarrollaperfilesdecandidatosparasusclientes,ensumayoríaempresas tecnológicas, y les informa cuando los candidatos añaden nuevascompetencias. Gild afirma que puede incluso predecir el momento en el que esprobable que un empleado estrella cambie de trabajo y avisar así a sus clientes decuándo es el mejor momento para hacer una oferta. El modelo de Gild intentacuantificarycualificarel«capitalsocial»decadatrabajador.¿Hastaquépuntoestáintegrada esta persona en la comunidad de programadores? ¿Comparte código yayuda a desarrollarlo? Imaginemos que un programador brasileño —llamémosloPedro—viveenSaoPauloytodaslasnochestrabajahasta launadelamañanaencolaboración con otros programadores de otras partes del mundo solucionandoproblemas de computación en la nube o participando en lluvias de ideas sobrealgoritmosdevideojuegosensitioswebcomoGitHuboStackOverflow.Elmodelopodría intentar medir la pasión de Pedro (que probablemente obtendría unapuntuaciónalta)ysuniveldecompromisoconotraspersonas.Tambiénevaluaríalaimportancia social y la relevancia de las competencias de sus contactos, y los quetuvieranmásseguidorescontaríanmás.SisuprincipalcontactoenlíneafueraSerguéiBrin de Google o Palmer Luckey, fundador del desarrollador de realidad virtualOculusVR,lapuntuaciónsocialdePedrosedispararíahastalaestratosfera.

Noobstante,losmodeloscomoeldeGildraravezrecibenseñalestanexplícitasdelosdatos,demodoquelanzanunareddemayortamañoparabuscarcorrelacionesconelestrellatoprofesionalencualquiersitio.Y teniendoencuentaqueGild tieneuna base de datos con más de seis millones de programadores, la empresa puedeencontrar todo tipo de patrones.VivienneMing, científica jefe enGild, declaró enunaentrevistapublicadaenAtlanticMonthlyqueGildhabíaencontradounconjunto

www.lectulandia.com-Página97

Page 98: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

de talentos que frecuentaban un sitio web de manga japonés específico.[134]Obviamente,elquePedropasetiempoenlapáginawebdeesatiendadecómicsnopredicequevayaaserunaestrella,perosíqueledaráunempujónasupuntuación.

Esto funciona con Pedro, pero es posible que algunos trabajadores hagan otrascosas fuera de Internet, que incluso el algoritmomás sofisticado no sea capaz dededucir—almenosnoenlaactualidad—.Puedequepasentiempoconsushijos,porejemplo, o que asistan a un grupo de lectura. El hecho de que un candidato nodedique seis horas todas las tardes a hablar de manga no debería puntuarnegativamente.Además,si,comocasitodoenelmundotecnológico,lapáginawebmangaestádominadaporhombresytieneciertotonosexual,esprobablequeungrannúmerodemujeresdelsectorevitenvisitarla.

Aunquepresentaestosproblemas,Gildessolounactorentremuchos.Notienelainfluencia de un gigantemundial y su posición no le permite generalizar un únicoestándarenelsector.Encomparaciónconalgunosdeloshorroresquehevisto—losanunciosdepredadoresquesepultanafamiliasenterasbajomontañasdedeudaylostestdepersonalidadqueexcluyenamuchaspersonasdelasoportunidades—,Gildesdócil.Sucategoríademodelopredictivosebasamásenpremiaralaspersonasqueencastigarlas.Nocabedudadequeelanálisisespocoequitativo:seguroquepasanpor alto algunas estrellas potenciales. Con todo, creo que los programas deidentificacióndetalentosaúnnohanllegadoalniveldelasADM.

No obstante, es importante recordar que estos modelos de contratación y de«incorporación» de personal están continuamente evolucionando. Elmundo de losdatos sigueexpandiéndose,yaque todosnosotros seguimosproduciendocrecientesflujosdepublicaciones sobrenuestrasvidas.Todosestosdatos seránutilizadospornuestrosposiblesempleadoresparacrearseunaideasobrenosotros.

¿Yverificarándespuéssilasideasquesehanhechodenosotrosatravésdeesaspublicaciones se corresponden con la realidad? ¿O utilizarán sus impresionessimplementeparajustificarelstatuquoyreforzarlosprejuicios?Cuandopiensoenlasformasinteresadasypocorigurosasenlasquelasempresasutilizanlosdatos,amenudomevienea lacabeza lafrenología,unapseudocienciaqueestuvodemodadurante un breve periodo en el sigloXIX. Los frenólogos pasaban los dedos por elcráneo del paciente buscando protuberancias y hendiduras. Cada uno de estoselementos, según la frenología, estaba relacionado con distintos rasgos de lapersonalidadpresentes enveintisiete regionesdiferentesdel cerebro.Laconclusióndelfrenólogosolíacoincidirconloqueobservabaenelpaciente.Siunpacienteteníaansiedadosufríadealcoholismo,elanálisisdelcráneosolíarevelarprotuberanciasyhendidurasquesecorrespondíanconesaobservación,loque,asuvez,reforzabalafeenlacienciadelafrenología.

La frenología era unmodelo que se basaba en tonterías pseudocientíficas parahacerdictámenesautoritariosydurantedécadasnadiecomprobósufiabilidad.Elbigdata puede caer en lamisma trampa.Modelos como los que activaron las alarmas

www.lectulandia.com-Página98

Page 99: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

anteKyleBehmeimpidieronmatricularsealosestudiantesdemedicinaextranjerosenSt.Georgepuedendejaramuchagentefuera,aunquela«ciencia»quelossustentenoseamásqueunmontóndesuposicionesquenadiehaverificado.

www.lectulandia.com-Página99

Page 100: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

L

07SudarbalasEneltrabajo

os trabajadores de las grandes corporaciones en Estados Unidos se haninventado recientemente un nuevo verbo: clopening (de close, «cerrar», y

open,«abrir»).Esloquehaceunempleadoquetrabajahastaelcierreporlanocheenunatiendaounbaryvuelveunashorasmástarde,antesdelamanecer,paraabrir.Elque un mismo empleado sea el que cierre y el que abra, es decir, el que haga elclopening,puedetenersentidoparalaempresadesdeelpuntodevistalogístico,perogenera horarios absurdos para el personal y empleados que sufren por la falta dehorasdesueño.

Cada vez es más habitual tener horarios muy irregulares, y estos afectanespecialmente a los trabajadores con salarios bajos en empresas como Starbucks,McDonald’syWalmart.Lafaltadepreavisoagravaelproblema.Muchosempleadosseenteranconsoloundíaodosdeantelacióndequetendránquetrabajarelturnodenochedelmiércolesoencargarsedelahorapuntadelviernes.Todoestohacequeensus vidas reine el caos y hace estragos con su organización para el cuidadode loshijos.Duermencuandopuedenypicanalgodecomercuandotienenoportunidaddeecharsealgoalaboca.

Estos horarios irregulares son el resultado de la economía de los datos. En elúltimocapítulo,vimoscómolasADManalizandetalladamentealoscandidatosaunpuestodetrabajo,excluyenaalgunosdeelloseignoranamuchosmás.Vimoscómoel software a menudo codifica prejuicios nocivos, ya que aprende de los registrosprevios a ser injusto.Aquí seguimosnuestroviajey llegamosalpuestode trabajo,donde las ADM centradas en la eficiencia tratan a los trabajadores como simplesengranajesdeunmecanismo.Elclopening es solounproductomásdentrode estatendencia,queprobablementecrecerácuando lasupervisiónseextiendaal lugardetrabajoyalimenteaúnmáslaeconomíadelosdatos.

Durantedécadasantesdeque lasempresasnadaranentredatos, laorganizaciónde los horarios se hacía de forma intuitiva y no tenía nada que ver con la ciencia.Imaginemos una ferretería familiar, cuyos empleados trabajan de 9.00 a 17,00 delunes a sábado. Un año, la hija mayor va a la universidad, y al volver analiza elnegocio desde otra perspectiva. Se da cuenta de que casi nadie visita la tienda losmartesporlamañana,conloqueladependientasepasalamañananavegandodesdeel móvil, sin interrupción. Ahí se están perdiendo ingresos. Por el contrario, lossábadoslosclientesrefunfuñanportenerqueesperarunbuenratohaciendocola.

La hija recopila datos muy valiososmediante la observación de lo que ocurrecadadíayayudaasuspadresamodelarelnegocioteniendotodaesainformaciónen

www.lectulandia.com-Página100

Page 101: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

consideración. Deciden, por tanto, cerrar la tienda los martes por la mañana ycontratar a un empleado a tiempo parcial para ayudarlos con la aglomeración delsábado. Estos cambios aportan un poco de inteligencia al obtuso e inflexible statuquo.

Enelcasodelbigdata,enlugardeunaestudianteuniversitariadeprimercurso,tenemos a legiones de doctorados armados con poderosos ordenadores. En laactualidad, los negocios pueden analizar el flujo de clientes y calcular de formaprecisa el número de empleados que necesitarán cada hora del día. El objetivo,evidentemente, es gastarlomenos posible, lo que significamantener el personal almínimo indispensable y asegurarse de contar con refuerzos disponibles para losperiodosdealtaocupación.

Podríamospensarquelospatronesdebenrepetirsesemanatrassemanayquelasempresaspodríansimplementehacerciertosajustesen loshorariosfijossemanales,aligualquelospropietariosdenuestrahipotéticaferretería.Sinembargo,losnuevosprogramasdesoftwareparalaplanificacióndehorariosofrecenopcionesmuchomássofisticadas.Procesannuevos flujosdedatosenconstantecambio,desdeel tiempoatmosférico hasta las pautas que siguen los peatones. En una tarde lluviosa, porejemplo,esmásprobablequelagentevayaaunacafeteríaenvezdealparque,porloqueharáfaltamáspersonal,almenosduranteunpardehoras.Elquesecelebreunpartidodefútboldelinstitutounviernesnochepuedesignificarquehabrámásgentepaseandoporlacalleprincipal,perosoloantesydespuésdelpartido,noduranteelencuentro. El volumen de movimiento en Twitter sugiere que un 26 % más decompradores se echará a la calle para aprovechar las rebajas del próximo BlackFridayencomparaciónconelañopasado.Lascondicionescambiancadahoray lamano de obra debe desplegarse para ajustarse a la demanda fluctuante. De locontrario,laempresaperderíadinero.

Naturalmente, el dinero que las empresas se ahorran viene directamente delbolsillo de los empleados. Con un statu quo ineficiente, los trabajadores no solotenían horarios predecibles, sino también cierta cantidad de tiempo muerto.Podríamos decir que se beneficiaban de la ineficiencia: algunos podían leer en eltrabajo o incluso estudiar. Sin embargo, ahora que el software organiza el trabajo,cadaminutodebeestarocupado.Yestosminutossetrabajaráncuandoelprogramaloexija,inclusosiestosignificacerrartardeelviernesyabrirdemadrugadaelsábado.

En 2014, elNew York Times publicó la historia de una madre soltera llamadaJannetteNavarro,queintentabaestudiarenlauniversidadaltiempoquetrabajabadebaristaenStarbucksycriabaasuhijodecuatroaños.[135]Losconstantescambiosenelhorariodetrabajoyelclopeningqueletocabahacerdevezencuandolehacíanlavidaimposibleyleimpedíanpoderrecurriraunaguarderíanormal.Tuvoquedejarde estudiar.No podía encajar nadamás que el trabajo.Y su historia es recurrente.SegúnlosdatosdelGobiernodeEstadosUnidos,dosterciosdelostrabajadoresdelsectordelosserviciosderestauraciónymásdelamitaddelosdependientesdelas

www.lectulandia.com-Página101

Page 102: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

tiendas son informados de cambios en sus horarios con una semana o menos deantelación;amenudolesavisansolounoodosdíasantes,porloquesevuelvenlocosparaorganizareltransporteoelcuidadodeloshijos.

Pocassemanasdespuésdelapublicacióndelartículo, lasgrandesempresasquese mencionaban en él anunciaron que cambiarían su manera de planificar loshorarios.[136]Avergonzadosporlahistoria,prometieronañadirunaúnicalimitaciónasu modelo: eliminarían el clopening y aprenderían a vivir con una optimizaciónligeramente menos eficaz. Starbucks, cuya marca se basa en gran medida en laimagendeserunaempresaquetratabienasusempleados,fuemásalláydeclaróquela empresa ajustaría el software paraminimizar la pesadilla de los horarios de sus130.000baristas:seanunciaríanloshorariosdetrabajoconalmenosunasemanadeantelación.

Noobstante, segúnun reportaje posterior delTimes, un añodespuésStarbucksseguíasincumplirestosobjetivos,ynisiquierahabíasuprimidoelclopening.[137]Elproblemaeraquelaideadetenerelmínimopersonalposibleestabaprofundamentearraigada en la cultura de la empresa. En muchas empresas, el sueldo de losencargadosdependedelaeficienciadesupersonalentérminosdeingresosporhorade trabajo. Los programas de software de planificación de horarios les ayudan aincrementaresosingresosysupropiaremuneración.Inclusocuandolosjefespidenalosencargadosqueaflojenel ritmo,estosnormalmentese resisten.Vaencontradetodoloqueleshanenseñado.Esmás,siunencargadodeStarbuckssuperaelnúmerodehorasdetrabajadoresasignadoasucafetería,el jefededistritorecibeunaalertaautomática,comentaunempleado.Yestopuedeacabarenunaamonestación.Sueleser más fácil cambiar el turno de alguno de los baristas, incluso si eso significaincumplirelcompromisodelaempresadeavisarconunasemanadeantelación.

Al final, losmodelos corporativos de las empresas que cotizan en bolsa comoStarbucksestánconcebidosparaalimentarlacuentadebeneficios.Estosereflejaensus culturas corporativas, en sus incentivos y, cada vez más, en sus softwares deexplotación (y si ese software permite modificaciones, como el de Starbucks, losajustesquesesuelenintroducirsonlosqueaumentanlosbeneficios).

Granpartedelatecnologíadeplanificaciónprovienedeunapoderosadisciplinadelasmatemáticasaplicadasllamada«investigacióndeoperaciones»oIO.Durantesiglos, los matemáticos han usado los principios de la IO para ayudar a losagricultoresconlaplantacióndesuscultivosoalosingenieroscivilesconeltrazadode autovías para transportar personas y bienes demanera eficaz.No obstante, estadisciplina no despegó realmente hasta la Segunda Guerra Mundial, cuando lasFuerzas Armadas británicas y estadounidenses comenzaron a reclutar equipos dematemáticos para optimizar el uso de sus recursos. Los aliados mantenían unseguimiento de varias formas de un «factor de conversión» que comparaba losrecursosqueutilizabanconlosrecursosdelosenemigosqueconseguíandestruir.[138]DurantelaOperaciónHambruna,quesellevóacaboentremarzoyagostode1945,

www.lectulandia.com-Página102

Page 103: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

lamisióndelXXIMandodeBombardeoconsistíaendestruirlosbuquesmercantesjaponeses para impedir que los alimentos y otros artículos llegaran a las costas deJapón.LosequiposdeIOsecentraronenmaximizarelnúmerodebarcosjaponeseshundidosporcadaaviónlanzaminasperdido.Lograronun«factordeconversión»demásde40a1:soloseperdieron15avionesylograronhundir606barcosjaponeses.Esta operación se considerómuy eficiente y esto fixe posible, en parte, gracias altrabajodelequipodeIO.

DespuésdelaSegundaGuerraMundial, lasempresasmásimportantes(al igualque el Pentágono) invirtieron muchísimos recursos en IO.[139] La ciencia de lalogística transformó radicalmente la manera en que se producían y se llevabanproductosalmercado.

Enladécadade1960,lasfábricasjaponesasdeautomóvilesdieronotrogranpasoalconcebirelsistemadefabricaciónquedenominaronJustoaTiempo.[140]La ideaconsistía en que, en lugar de almacenar montones de volantes o sistemas detransmisiónytenerqueirabuscarlosaalmacenesgigantescos,laplantademontajepediría las piezas según las fuera necesitando y dejaría de pagar para tenerlasguardadas sin sacarles ningún beneficio. Tanto Toyota como Honda organizaroncomplejascadenasdeproveedoresquemandabanconstantementelaspiezassegúnlasiban solicitando. Era como si el sector fuese un organismo único, con sus propiossistemasdecontrolhomeostático.

ElmétodoJustoaTiempoeraaltamenteeficienteysepropagóportodoelgloboconmucharapidez.EmpresasdediferenteslatitudesconsiguieronorganizarcadenasdesuministrodeltipoJustoaTiempoenundosportres.EstosmodelosconstituyenasimismolosfundamentosmatemáticosdeempresascomoAmazon,FederalExpressoUPS.

LosprogramasdeplanificaciónpuedeninterpretarsecomounaampliacióndeestaeconomíadelJustoaTiempoconladiferenciadeque,enlugarderecibirlashojasdecorteparaloscortacéspedesolaspantallasparalosteléfonosmóvilesenelmomentonecesario, en estas empresas son las personas las que vienen cuando las llaman,normalmente personas que necesitan dinero desesperadamente. Y precisamenteporque necesitan dinero desesperadamente, las empresas se permiten doblegar susvidasantelosdictadosdeunmodelomatemático.

Deberíaañadiraquíquelasempresastomanciertasmedidasparaquelavidadesusempleadosnoseademasiadomiserable.Todasconocenconabsolutaprecisiónelprecio de remplazar a un trabajador quemado que acaba dimitiendo. Esas cifrastambién están incluidas entre los datos que manejan las empresas, que cuentanademásconotrosmodelos,comolosquehemosmencionadoenelcapítuloanterior,parareducirlarotacióndelpersonal,querestabeneficiosyeficiencia.

Desdelaperspectivadelosempleados,elproblemaresideenquehayunexcesodeofertademanodeobramalpagada.Lagenteestádesesperadaportrabajar,loqueexplicaporquémuchosseaferranaempleosenlosqueapenascobran8dólaresla

www.lectulandia.com-Página103

Page 104: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

hora. Este exceso de oferta, sumado a la falta de sindicatos eficaces, deja a lostrabajadoresprácticamentesinningúnpoderdenegociación,conloquelasgrandescadenas de tiendas y restaurantes pueden someter la vida de sus trabajadores ahorarios crecientemente absurdos sin sufrir una rotación de personal excesiva.Generancadavezmásingresosacostadeconvertirlasvidasdesusempleadosenuninfierno.Y,debidoaqueestosprogramasdeoptimizaciónestánentodaspartes,lostrabajadores saben perfectamente que su suerte no mejorará aunque cambien deempleo.Estasdinámicascombinadasproporcionanalasempresasunamanodeobracasiesclava.

SeguramenteelLectoryahabráimaginadoqueconsideroqueestosprogramasdeplanificación de horarios constituyen una de las más abominables ADM, Esgigantesca,algodeloqueyahemoshablado,yseaprovechadelaspersonasalasqueles cuesta llegar a fin de mes. Es más, es completamente opaca. A menudo lostrabajadoresnotienenniideadecuándolesvanallamarparatrabajar.Losconvocaunprogramaarbitrario.

Estosprogramasdesoftwaretambiéncreanunbuclederetroalimentaciónnocivo.Pensemosen JannetteNavarro.Sucaóticohorario le impidió retomar lasclases, loquereducíasusperspectivasdeempleoylamanteníacomounamásdelexcedentedeoferta de trabajadores mal pagados. Los largos e irregulares horarios de trabajotambién hacen que sea difícil para los trabajadores organizarse y protestar paramejorar sus condiciones.De hecho, sufren elevados niveles de ansiedad y falta desueño, lo que les provoca drásticos cambios de humor, y se estima que eseagotamientoeslacausadel13%delosaccidentesdecarretera.Y,loqueesaúnpeor,dadoqueelsoftwareestádiseñadoparahacerque lasempresasahorrenelmáximoposible,amenudolimitalashorasdetrabajodelosempleadosamenosde30horassemanales, loquesignificaquequedanexcluidosdelseguromédicodelaempresa.Además, con estos horarios caóticos, a la mayoría le resulta imposible encontrartiempo para un segundo trabajo. Da la sensación de que el software hubiera sidodiseñadoparacastigarexpresamentea los trabajadorescon lossalariosmásbajoseimpedirlesquepuedanhacercualquierotracosa.

Elsoftwaretambiéncondenaamuchosdenuestroshijosacrecersinrutinasyatener que ver a sus madres medio dormidas a la hora del desayuno, saliendo conprisas de casa justo antes de la hora de cenar o discutiendo con las abuelas sobrequiéncuidarádeelloseldomingoporlamañana.Estavidacaóticaafectaalosniñosprofundamente. Según un estudio del Instituto de Política Económica, unaorganizacióndedefensadelosderechosdelosciudadanos,«loshijospequeñosylosadolescentesdeaquellospadresquetrabajanconhorariosimpredeciblesofueradelhorariolaboralhabitualdedíatienenunamayorprobabilidaddepresentarresultadoscognitivos y conductuales inferiores».[141] Puede que los padres se culpen a símismosportenerunhijoquesecomportamaloalquelevamalenlaescuela,pero,enmuchoscasos,laverdaderaculpableeslapobrezaqueobligaalostrabajadoresa

www.lectulandia.com-Página104

Page 105: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

aceptarempleosconhorarioscaóticos(ylosmodelosdeplanificaciónqueaprietanenparticularalasfamiliasconproblemas).

La raíz del problema está, como en el caso de tantísimas otras ADM, en losobjetivosqueeligen losquediseñanelmodelo.Elmodelohasidooptimizadoparalograrlamayoreficienciayrentabilidad,noparafavorecerla justiciaoelbienestardel«equipo».Evidentemente,estaeslanaturalezadelcapitalismo.Paralasempresas,losingresossoncomoeloxígeno,algoesencialparamantenerseconvida.Desdesupunto de vista, sería tremendamente estúpido, incluso antinatural, renunciar aposibles ahorros. Esta es la razón de que la sociedad necesite fuerzas que lascontrarresten, como una cobertura mediática poderosa que visibilice los abusoscometidosennombredelaeficienciayquepongaenevidenciaalasempresasquenohaganlocorrecto.Además,cuandolasempresasincumplensuscompromisos,comohizo Starbucks, losmedios deben exponerlas una y otra vez. También hacen faltareguladores para mantenerlas a raya, sindicatos fuertes para organizar a lostrabajadores y dar voz a sus necesidades y quejas, así como políticos que esténdispuestos a aprobar leyes que frenen los peores excesos de las grandes empresas.Según el reportaje que el New York Times publicó en 2014, los congresistasdemócrataselaborarondiligentementevariosproyectosdeleyparaponerlímitesalosprogramasdesoftwaredeplanificacióndehorarios.Noobstante,dadoquelamayoríarepublicanaseoponíaferozmentealaregulacióngubernamental, laprobabilidaddequeestosproyectosdeleyllegaranaseradoptadoseranula.Lapropuestalegislativanopasódeahí.[142]

***

En2008,justocuandoseacercabalaGranRecesión,unaempresadeSanFranciscollamadaCataphoralanzóalmercadounsoftwarequeevaluabaalostrabajadoresdelsectortecnológicoenunaseriedeaspectos,incluidasucapacidadparagenerarideasnuevas,unatareanadasencilla.[143]Alosprogramasdesoftware,alfinyalcabo,lescuestadistinguirunaideadeunasimplesecuenciadepalabras.Silopensamosbien,estadiferenciaes,amenudo,cuestióndecontexto.Lasideascreativasdelpasado—quelatierrafueraredondaoinclusoquealagentelepudiesegustarcompartirfotosenredessociales—sonhechosenelpresente.Cadaserhumanotendráunaopiniónsobre cuándo una idea se convierte en un hecho consolidado y cuándo ha sidodesbancadaodesechada (aunqueamenudonoestemosdeacuerdoentrenosotros).Sin embargo, esta distinción desconcierta incluso a la más sofisticada inteligenciaartificial,demodoqueelsistemadeCataphoratuvoquetomaralospropioshumanoscomoguía.

El software rebuscó entre el correo electrónico y los mensajes de la empresabuscandoideas.Lahipótesisdepartidaeraquelasmejoresideastendríanunamayordifusión en la red. Si la gente copiaba y pegaba ciertos grupos de palabras para

www.lectulandia.com-Página105

Page 106: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

despuéscompartirlas,eraprobablequeesaspalabrasfueranideasyelsoftwarepodíacuantificarlas.

Sin embargo, hubo complicaciones. Las ideas no eran los únicos grupos depalabras que la gente compartía mucho en las redes sociales. Las bromas, porejemplo,sehacíanviralesaunritmosalvajeyconfundíanmuchoalossistemasdesoftware.Elcotilleotambiénviajabaatodavelocidad.Apesardeestasdificultades,las bromas y los cotilleos seguían determinados patrones, por lo que era posibleenseñar al programa a filtrar almenos algunos de ellos.Con el tiempo, el sistemallegó a identificar los grupos de palabras que conmás probabilidad representabanideas.Lesseguía lapistaa travésde la red,contandoelnúmerodevecesqueerancopiadas,midiendosudistribucióneidentificandosufuente.

Pronto,losrolesdelosempleadoscomenzaronaesclarecerse.Elsistemallegóala conclusióndeque algunaspersonas erangeneradorasde ideas.En sugráficadeempleados,Cataphoraseñalabaaestosgeneradoresconcírculos,quesehacíanmásgrandesyoscurossiproducíanmuchasideas.Otraspersonaseranconectores.Comolas neuronas de una red distribuida, transmitían información. Los conectores másefectivoshacíanviralessecuenciasdepalabras.Elsistemamarcabaaestaspersonastambiénconcoloresoscuros.

Ahorabien, independientementedequeel sistemaestuvieramidiendode formaefectivaelflujodeideasono,elconceptoensínoeraperverso.Puedetenersentidousarestetipodeanálisisparaidentificarquésabehacerunapersonaycolocarlaasíjunto con los compañeros y colaboradores con los que trabajará mejor. IBM yMicrosoftusanprogramasinternosparahacerprecisamenteeso.Esmuyparecidoaunalgoritmodecitas(ysindudatendrátambiénresultadosdesiguales).Elbigdatahasidousadoasimismoparaestudiarlaproductividaddelostrabajadoresdecentrosdeatencióntelefónica.

Hace unos años, investigadores del MIT analizaron el comportamiento de losempleadosdelserviciodeatenciónalclientedeBankofAmericaparaaveriguarporquéalgunosequiposeranmásproductivosqueotros.[144]Lescolocaronacadaunodeellosundispositivoalrededordelcuello,quedenominaronmedallasociométrica.Elsistema electrónico de estasmedallas rastreaba la localización de los empleados ymedía su tono de voz y sus gestos cada 16 milisegundos. Registraba cuándo dospersonassemirabanlaunaalaotraycuántohablaba,escuchabaeinterrumpíacadauna de ellas. Cuatro equipos de empleados del centro —80 personas en total—llevaronpuestasestasmedallasduranteseissemanas.

Eltrabajodeestostrabajadoresestabamuyreglamentado.Selesrecomendabanohablarentreellosporquesesuponíaquedebíanpasarelmayornúmerodeminutosposiblealteléfono,resolviendolosproblemasdelosclientes.Losdescansosparaelcaféestabanplanificadosenunasecuencia,unoauno.

Para su sorpresa, los investigadores descubrieron que el equipo más rápido yeficientedetodoelcentrodeatencióntelefónicaeratambiénelmássociable.Estos

www.lectulandia.com-Página106

Page 107: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

empleadossesaltabanlasnormasycharlabanmuchomásquelosdemás,Ycuandolaempresa dio el paso de animar a todos los empleados a socializar más, laproductividaddelcentrodeatencióntelefónicasedisparó.

Sin embargo, los estudios de datos que rastrean el comportamiento de losempleados pueden utilizarse también para hacer una criba entre la mano de obra.Cuando la recesión de 2008 arrasaba la economía, los responsables de recursoshumanosdelsectortecnológicoempezaronamirarlosgráficosdeCataphoraconunnuevo propósito. Vieron que muchos trabajadores estaban representados comograndescírculososcuros,mientrasqueotroseranmáspequeñosy tenues.Si teníanquedespediraalguien,ylamayoríadelasempresasteníanquehacerlo,teníasentidoempezarconlosmáspequeñosytenuesdelagráfica.

Pero¿eranesostrabajadoresrealmenteprescindibles?Unavezmás,damosconlafrenologíadigital.Síunsistemaapuntaaqueuntrabajadornogeneramuchasideasoesunconectordébil,esteveredictoseconvierteenlaverdad.Esaessucalificación.

Quizáalguienpuedaaportarpruebasquedemuestrenlocontrario.Esposiblequeelempleadoconelcírculotenuegenereideasfantásticas,peroquenolascompartaatravés de la red. O quizá dé valiosísimos consejos a sus compañeros durante elalmuerzoosea lapersonaque relaja las tensionesen laoficinaconunchisteenelmomentoadecuado.Quizá seaunaempleadaque se llevabiencon todoelmundo,una cualidad muy valiosa en un lugar de trabajo. Sin embargo, a los sistemasinformáticosnoselesdabienencontrarvaloressustitutivosdigitalesparaestadasede habilidades interpersonales. Simplemente no se recogen los datos pertinentes y,aunque así fuera, otorgarles un valor resulta complicado. Suele ser más sencillodejarlosfueradelmodelo.

Deestaforma,elsistemaidentificaalosaparentesperdedores.Muchosdeellossequedaronenlacalledurantelacrisis.Estoporsisoloyaesinjusto,perolopeoresque los sistemas como el de Cataphora reciben una cantidad mínima de datos deretroalimentación.Puedequealguienaquienelsistemaidentificaracomoperdedoryque,porconsiguiente,acabaradepatitasenlacalleencontraradespuésunempleoenelquegeneraramontonesdepatentes.Nosuelenrecopilarseestosdatos.Elsistemanoseenteranuncade si sehaequivocadoconunapersonao inclusoconmilesdeellas.

Yestosuponeunproblema,porqueloscientíficosnecesitanlaretroalimentacióndeerrores—enestecaso,lapresenciadefalsosnegativos—paraprofundizarenlosanálisis forenses y averiguar qué salió mal, qué fue malinterpretado y qué datosfueronignorados.Asíescomolossistemasaprendenysevuelvenmásinteligentes.No obstante, como hemos visto, muchísimas ADM crean alegremente su propiarealidad,desde losmodelosde reincidenciahasta laspuntuacionesde losdocentes.Losdirectoresasumenquelascalificacionessonlosuficientementeválidasparaserútiles, y el algoritmo les facilita las decisiones difíciles. Pueden decidir a quién

www.lectulandia.com-Página107

Page 108: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

despedirpara reducir costesy responsabilizarde ladecisiónaunnúmeroobjetivo,seaonocertero.

Cataphora no creciómucho, y sumodelo de evaluación de trabajadores no fuemásqueunaactividadsecundaria—granpartedesutrabajoconsistíaenidentificarpatrones de fraude o tráfico de influencias dentro de las empresas—. En 2012,Cataphora liquidó el negocio y vendió su software a una start-up, Chenope. Noobstante, no debemos olvidar que los sistemas de este tipo tienen el potencial deconvertirse enverdaderasADM.Puedenmalinterpretar a laspersonasy castigarlassinpruebaalgunadequesuscalificacionescorrespondanalacalidaddesutrabajo.

Este tipode softwaremarca el augede lasADMenunnuevo terreno.Durantealgunas décadas pudo parecer que únicamente los obreros industriales y lostrabajadoresdeserviciospodíansermodeladosyoptimizados,mientrasquelosquetrabajanconideas,desdeabogadosaingenierosquímicos,podíanevitarlasADM,almenoseneltrabajo.Cataphorafueunprimeravisodequeestonoserásiempreasí.Dehecho,muchasempresasdelsector tecnológicoestántratandodeoptimizarasupersonal cualificado a través del análisis de sus patrones de comunicación. Losgigantestecnológicos,entrelosqueseincluyenGoogle,Facebook,Amazon,IBMymuchosmás,estánavanzandoenestesentido.

Almenosporahoraseagradeceestadiversidad.Noshacemantenerlaesperanzaenque los trabajadoresque sean rechazadosporunmodelopodrían ser apreciadospor otro. Aunque al final se acabará imponiendo una norma en todo el sector, yentoncestodoslopasaremosmal.

***

En 1983, la administraciónReagan dio una sensacionalista voz de alarma sobre lasituación en la que se encontraban los centros educativos estadounidenses. En uninforme tituladoANationatRisk, un comité asesor del presidente advertía deuna«crecientemareademediocridad»enloscentroseducativosqueamenazaba«nuestrofuturo como Nación y como pueblo».[145] El informe también decía que si «unapotencia extranjera hostil» hubiese tratado de imponernos estos pésimos centroseducativos,«bienpodríamoshaberlointerpretadocomounactodeguerra».

ElsignomásnotabledeestefracasofueloqueparecíaunacaídaenpicadoenlasnotasdelosexámenesdeaccesoalauniversidadSALEntre1963y1980,lasnotasen competencias lingüísticas habían caído 50 puntos y las de matemáticas habíanbajado40puntos.Nuestracapacidadparacompetirenunaeconomíaglobalsebasabaennuestrashabilidades,yestasparecíanestarempeorando.

¿Aquiénhabríaqueculparporestelamentableestadodelacuestión?Elinformenodejabalugaradudas.Alosmaestrosylosprofesores.ElinformeNationatRiskexigíaquese tomasenmedidas, loquese tradujoenlarealizacióndepruebasa losalumnos…yen lautilizaciónde los resultadosdedichaspruebaspara identificara

www.lectulandia.com-Página108

Page 109: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

los maestros y profesores con bajo rendimiento. Como vimos en el capítulo deintroducción, estaprácticapuede llegar a costarles el empleo a losdocentes,SarahWysocki,lamaestradeWashingtonD.Calaquedespidieroncuandosuclasesacónotas sorprendentemente bajas, fue víctimade tales pruebas.Con el caso deSarahintentéexplicarcómoactúan lasADM, loarbitrariase injustasquepueden llegaraseryquenoadmitenapelaciones.

Losmaestros,ademásdeserloseducadoresycuidadoresdenuestroshijos,son,evidentemente, trabajadores.Enestesentidoquieroprofundizarunpocomásenlosmodelosquepuntúansurendimiento,puestoquepodríanaplicarseenelfuturoalostrabajadoresdeotrossectores.ConsideremoselcasodeTimClifford,unprofesordesecundaria que enseña Lengua y Literatura enNuevaYork, con veintiséis años deexperiencia.[146] Hace unos años, Clifford descubrió que había suspendido laevaluacióndedocentesconocidacomoelmodelodevalorañadido,similaralaquepropició el despido de Sarah Wysocki La puntuación de Clifford había sido unridículo6sobre100.

Cliffordestabadestrozado.«Nopodíaentendercómoeraposibleque,despuésdehaber trabajado tan duro, obtuviese esos resultados—me explicó más tarde—. Adecirverdad,cuandoviporprimeravezmipuntuación,mesentíavergonzadoynoselocontéanadiehastaquenopasaronunpardedías.Sinembargo,descubríquehabíaotrosdosprofesoresennuestrocentroquehabíanpuntuadopordebajodemí.Esomealentóahablardemisresultados,porquequeríaqueesosprofesoressupieranquenoeranlosúnicos».[147]

TimCliffordmecontóque sinohubiese tenidounaplaza fija,podríanhaberlodespedido esemismo año. «Incluso con la plaza fija, una puntuación baja en añosconsecutivosacabaponiéndoteenciertamedidabajoelpuntodemira».Esmás,silosprofesoresfijossacanpuntuacionesbajas,lospartidariosdereformarlaenseñanzase envalentonan y aprovechan para argumentar que la seguridad laboral protege aeducadores incompetentes, Clifford se enfrentó al siguiente curso con una graninquietud.

Elmodelodevalorañadidolehabíadadounsuspenso,peroningúnconsejosobrecómomejorarlo.ConqueCliffordsiguiódandoclasecomosiemprelohabíahechoyconfióenquesaldríabien.Alañosiguientesupuntuaciónfuede96.

«Cualquierapodríapensarquemepuseeufórico,peronofueasí—dijo—.Sabíaquemipuntuacióndel6%habíasidounfraude,porloquetampocopodíaalegrarmedehaberobtenidounapuntuaciónaltacon lamismafórmulaerróneaquemehabíasuspendido. La diferencia de un 90 % en mis puntuaciones no hizo más queayudarmeadarmecuentade lo ridículoqueeraelmodelodelvalorañadidoensuconjuntoparaelsectoreducativo».

Fraude es la palabra que mejor lo define. De hecho, las estadísticasmalinterpretadasaparecencontinuamenteenlahistoriadelaevaluacióndocente.Elproblema comenzó con unametedura de pata estadística crucial en los análisis del

www.lectulandia.com-Página109

Page 110: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

informeoriginalNationatRisk.Resultóquelosinvestigadoresquedenunciabanunacatástrofe nacional basaron sus juicios en un error básico, algo que cualquierestudianteuniversitariopodríahaberdetectado.Dehecho,siqueríanejemplificarlasdeficienciaseducativasdeEstadosUnidos,supropioerrorenlainterpretacióndelasestadísticaspodríaservircomopruebanúmerouno.

Siete años después de la sonada publicación del informeNation at Risk, unosinvestigadoresdelosSandiaNationalLaboratoriesecharonunsegundovistazoalosdatos recogidos por el informe.[148] Esta gente no eran aficionados en lo que aestadística se refiere—se dedican a la construcción y el mantenimiento de armasnucleares— y localizaron en seguida el error. Sí, era cierto que la media de laspuntuaciones en el examenSAThabía bajado.No obstante, el número de alumnosquesepresentabanalexamensehabíamultiplicadoalolargodeaquellosdiecisieteaños.Lasuniversidadesabríansuspuertasaestudiantesmáspobresyalasminorías.Las oportunidades crecían. Todo esto eran señales de éxito social. Aunque,naturalmente,el influjode los recién llegadosminaba laspuntuacionesmedias.Sinembargo,cuandolosestadísticosdescompusieronalapoblaciónendiferentesgruposderenta,laspuntuacionesdecadaunodelosgruposindividualmentehabíansubido,desdelosmáspobresalosmásricos.

Este fenómeno es conocido en estadística como la paradoja de Simpson: se dacuando un conjunto de datos muestra una tendencia, pero, al descomponer dichoconjunto en subgrupos, aparece la tendencia opuesta en cada uno de ellosindividualmente.[149] La irrefutable conclusión del informeNation at Risk, la queimpulsótodoelmovimientodeevaluacióndocente,habíasidoextraídadeunagravemalinterpretacióndelosdatos.

LaspuntuacionesdivergentesdeTimCliffordsonelresultadodeotrocasomásde chapuza estadística, un caso excesivamente habitual. Las puntuaciones de losprofesoresque seobteníanapartir de laspruebasde los alumnosnomedíannada.Entiendoqueestopuedesonarexagerado.Alfinyalcabo,loschicoshacíanpruebasy sus puntuaciones contribuían a la de TimClifford. Todo eso esmuy cierto. Sinembargo,laspuntuacionesdeClifford,tantoelhumillante6comoeldignísimo96,sebasaban en unas aproximaciones tan débiles que acababan siendo esencialmentealeatorias.

El problema se debió a que los responsables se desviaron de la precisión porquerer ser justos. Comprendían que no estaba bien otorgarles un exceso dereconocimiento a losmaestros y profesores de los centros ricos poique los hijos ehijasdedoctoresy abogadosdespegaranhacia lasuniversidadesde élite.Tampocopodían exigirles los mismos niveles de resultados a los docentes de los distritospobres.Nopodíamospretenderqueobrasenmilagros.

Demodoque,envezdevaloraralosmaestrosyprofesoresconformeaúnaescalaabsoluta, intentaron ajustar el modelo a las desigualdades sociales. En lugar decomparar a los alumnos de Tim Clifford con otros alumnos de otros barrios, los

www.lectulandia.com-Página110

Page 111: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

compararían con la previsión que diera el modelo sobre esosmismos alumnos. Elmodelopredecíaunapuntuaciónfuturaparacadaalumno.Silosalumnossuperabanlaspuntuacionesqueelmodelohabíapronosticadoparaellos,elprofesorobteníaelreconocimiento, y si no se acercaban a ellas, se le culpaba de ello. ¿Parece algoprimitivo?Puessí,efectivamenteloes.

Desdeelpuntodevistaestadístico,alintentardesvincularlaspruebasquehacíanlosalumnosdelaclaseydelaraza,losdirectivospasarondeunmodeloprimarioaunosecundario.En lugardebasar laspuntuacionesenevaluacionesdirectasde losalumnos, lo hicieron en el denominado término de error (la distancia entre losresultados y las previsiones). Matemáticamente, esta proposición es mucho másincompleta. Dado que las previsiones en sí se derivan de estadísticas, acabanresultando en conjeturas derivadas de conjeturas. El producto es un modelo conmontonesderesultadosaleatorios,loquelosestadísticosllaman«ruido».

Ahora bien, podríamos pensar que si se considera un número de alumnos losuficientementegrande,seaclararíaelvalordelaspuntuaciones.Alfinyalcabo,laciudad de Nueva York, con sus 1100 millones de alumnos en centros públicos,debería proporcionar las suficientes series de datos como para hacer prediccionessignificativas. Si 80.000 alumnos de octavo curso (el equivalente a segundo desecundaria)realizanlaprueba,¿noseríafactibleestablecermediasfiablestantoparaloscentrosconproblemascomoparalosquesonexcelentesyparalosquesesitúanentrelosdosextremos?

Larespuestaessí.YsiTimClifforddieseclaseaunaampliamuestradealumnos,digamosaunos10.000,entoncesseríarazonablecompararesacohorteconlamediadelañoanterioryextraeralgunasconclusiones.Losnúmerosgrandescompensanlasexcepcionesyloscasosatípicos.Teóricamenteestopermitiríaidentificarclaramentelastendencias.Sinembargo,escasiimposiblequeunaclasedeveinticincootreintaalumnos se corresponda conuna poblaciónmuchomayor.Conque, si en una clasehayundeterminado tipode alumnos, estos tenderán a elevarmás rápido lamedia.Otros lo harán más lentamente. A Clifford apenas se le dio información sobre laopacaADMque leotorgóunosresultados tanextremadamentedivergentes,peroélsospechabaqueladiferenciaentrelosgruposalosquedioclaseelprimerañoylosdelsiguientetendríaalgoquever.TimClifforddecíalosiguientesobreelañoenqueobtuvolapuntuacióntanbaja:«Dabaclaseamuchosalumnosdeeducaciónespecialy también amuchos alumnosbrillantes.Ycreoque tanto trabajar con losquemásnecesidades tienen como con los mejores estudiantes —o con ambos— traeproblemas.Escomplicadoconseguirquesubanlaspuntuacionesdelosalumnosconnecesidadesporsusproblemasdeaprendizaje,ytambiénesdifícilconseguircambiosenlasnotasdelosmejoresestudiantesporqueyatienenunapuntuacióntanaltaquehaypocomargendemejora».

Alañosiguiente,Cliffordtuvounacombinacióndiferentedealumnos,muchosdeellossituadosentreesosdosextremos.Ylosresultadosdelmodelohicieronparecer

www.lectulandia.com-Página111

Page 112: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

que Tim Clifford había pasado de ser un profesor deficiente a un docenteespectacular.Estetipoderesultadoserandemasiadofrecuentes.Unanálisisrealizadopor Gary Rubinstein, un bloguero y educador, demostró que uno de cada cuatroprofesores que enseñaban lamisma asignatura en años consecutivos registraba unadiferenciade40puntosenelmodelo.[150]Estosugiereque losdatosdeevaluaciónsonprácticamentealeatorios.Noeraelrendimientodelosprofesoresloquevariabadeunañoaotro,loquevariabaeralapuntuacióngeneradaporunADMqueeraunauténticofraude.

Peseaquesuspuntuacionesnotienensentidoalguno,elimpactodelmodelodevalorañadidoesgeneralizadoymuydañino.«Hevistoaprofesoresgenialesque,alverlosresultadosdeesaspuntuaciones,empezaronapensarquepodíanconsiderarsemediocrescomomucho—diceClifford—.Dejarondedarlasestupendasclasesquesolíanimpartirysecentraroncadavezmásenlapreparacióndelaspruebasdefinaldeaño.Unprofesorjovensufrirásisacaunapuntuaciónbajaenelmodelodevalorañadido,mientrasque,sisacaunapuntuaciónalta,puedetenerlafalsasensacióndehaberalcanzadoimportanteslogrosqueaúnnosehaganado».

ComoenelcasodetantasotrasADM,elmodelodevalorañadidonaciódelasbuenasintenciones.LaadministraciónObamaprontosepercatódequelosdistritosperjudicados a consecuencia de las reformas de la ley de 2001 denominada «Queningún niño se quede atrás», que imponían unas pruebas homologadas muyexigentes, solían ser los más pobres y desfavorecidos. En consecuencia, decidióotorgar exenciones a los distritos que pudiesen demostrar la efectividad de susmaestros y profesores para asegurarse de que dichos centros no resultaríanperjudicadosaunquesusalumnossequedaranrezagados.[151]

La utilización demodelos de valor añadido nace en gran parte de este cambiolegislativo.Sinembargo,afinalesde2015,lamodadelaevaluacióndelosdocentestomóloquepodríaserungiroaúnmásdramático.Enprimerlugar,elCongresoylaCasaBlancaacordaronderogarlaLey«Queningúnniñosequedeatrás»ysustituirlapor una que diese a los estados mayor libertad para llevar a cabo sus propiasestrategiasdemejoradelosdistritosescolaresconbajorendimiento.[152]Tambiénseles otorgó un abanico más amplio de criterios que podían considerar, como laimplicación de los alumnos y de los profesores, el acceso a trabajo avanzado delcurso, el ambiente escolar o la seguridad. En otras palabras, los responsables deeducación podían empezar a estudiar lo que ocurre en cada centro individual, yprestar menos atención a las ADM similares a los modelos de valor añadido. O,mejoraún,desecharlasporcompleto.

Aproximadamente en esamisma época, la comisión especial de educación delgobernadordeNuevaYork,AndrewCuomo,anuncióunamoratoriadecuatroañosenelusodeexámenesparaevaluaramaestrosyprofesores.[153]Apesardeserbienrecibido,estecambionomarcaunrechazoclaroalasADMdeevaluacióndocente,nimuchomenoselreconocimientodequesoninjustas.Dehecho,lapresiónprovenía

www.lectulandia.com-Página112

Page 113: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

delospadres,quesequejabandequeelrégimendepruebasdejabaexhaustosasushijosyconsumíademasiadotiempodelcursoacadémico.Enlaprimaverade2015,unmovimientodeboicot impidióqueun20%de losalumnosde terceroaoctavocurso (equivalentes a tercero de primaria y segundo de secundaria) realizasen laspruebas.[154] Este movimiento sigue creciendo. Cediendo ante los padres, laadministraciónCuomoasestóundurogolpealosmodelosdevalorañadido.Alfinyalcabo,sinopodíahacerlaspruebasatodoslosalumnos,elestadocareceríadelosdatosnecesariosparaalimentarelmodelo.

TimCliffordsealegrómuchodeestanoticia,aunquesiguepreocupado.[155]«ElmovimientodeboicotforzóaCuomoadoblegarse—escribíaenuncorreo—.Temíaperder el apoyo de los votantes más ricos de los mejores distritos escolares, quefueronprecisamentelosquemásincondicionalmenteloapoyaron.Haotorgadoestamoratoriasobreelusodelaspuntuacionesdelaspruebasparaolvidarsedelasunto».Cliffordtemequelaspruebasvolverán.

Yesposiblequeasísea,Ypuestoquelosmodelosdevalorañadidohanresultadounaherramientaefectivacontra lossindicatosdeenseñantes,nocreoque lleguenadesaparecerenelfuturocercano.[156]Estánbienafianzados;eldistritodeColumbiaycuarentaestadosentodoelpaíslosusanodesarrollandeunaformauotra.EstaesunarazónmásparahacercorrerlavozsobreestasyotrasADM.Cuandolagentelasreconozcay comprenda susdefectos estadísticos, exigirán evaluacionesmás justas,tanto para los alumnos como para los docentes. Sin embargo, si el objetivo de laspruebasesencontraraalguienaquienecharlelaculpaeintimidaralostrabajadores,entonces,comohemosvisto,unADMqueescupepuntuacionessinsentidosacaunsobresaliente.

www.lectulandia.com-Página113

Page 114: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

L

08DañoscolateralesConseguircrédito

os banqueros locales iban antes con la cabeza bien alta en las ciudadespequeñas. Controlaban el dinero. Si alguien quería un coche nuevo o una

hipoteca,seponíasusmejoresgalasparairaveralbanquero.Y,comomiembrodelacomunidad,elbanqueroprobablementeconoceríabastantesdetallesdelavidadesucliente.Probablementesabríasisuclienteibaalaiglesiaono.[157]Conocería todaslasanécdotassobrelosencontronazosconlaleydesuhermanomayor.Sabríaloquesu jefe (con quien el banquero jugaba al golf) opinaba sobre cómo realizaba sutrabajo. Y obviamente sabría de qué raza era y a qué grupo étnico pertenecía. Ydespuésecharlaunvistazoalascifrasqueelclientehubieraescritoensusolicitud.

Los cuatro primeros factores a menudo se abrían paso, ya fuera de formaconscienteo inconsciente, hasta el juiciodel banquero.Yesbastanteprobablequetendieraaconfiarenlaspersonasdesupropiocírculo.Esunareacciónhumana.Sinembargo, esto significa que paramillones de ciudadanos estadounidenses, el statuquopredigitaleraigualdeterriblequealgunasdelasADMquehedescritoenestelibro.Todos losqueestuvieran fuerade loscírculosde losbanqueros, incluidas lasminoríasylasmujeres,quedabanexcluidosdeformarutinaria.[158]Parateneralgunaposibilidaddeéxito,debíanprepararunimpresionanteexpedientefinancieroyluegobuscaralgúnbanquerodementeabierta.

No era justo. Pero entonces llegó un algoritmo y las cosas mejoraron. ElmatemáticoEarl Isaacy suamigo,el ingenieroBillFair,diseñaronunmodeloquellamaronFICO[159]paraevaluarelriesgodequeunapersonaincumplaelpagodeuncrédito. La calificación FICO se obtenía mediante una fórmula que analizabaúnicamentelasfinanzasdelprestatario—fundamentalmentelacargadeladeudaysuhistorialdepagodefacturas—.Estacalificacióncrediticianoteníaencuentaelcolorde la piel. Y resultó algo fantástico para el sector de la banca, porque predecía elriesgodeunaformamuchomásprecisa,altiempoqueabríalaspuertasamillonesdenuevosclientes.Evidentemente,lascalificacionescrediticiasFICOsiguenexistiendo.Las utilizan todas las agencias de calificación crediticia, incluidas Experian,TransunionyEquifax,queañadendistintasfuentesdeinformaciónalmodeloFICOpara producir sus propias calificaciones. Estas calificaciones presentan numerososatributos encomiables y que no tienen nada que ver con las ADM. Para empezar,tienen un bucle de retroalimentación transparente. Las empresas crediticias puedenverquéprestatariosnopaganlosplazosdesuspréstamosycomparanesosnúmeroscon las calificaciones que obtuvieron inicialmente, Si los prestatarios con

www.lectulandia.com-Página114

Page 115: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

calificacionesaltasparecennopoderhacerfrentealosplazosdesuspréstamosconmásfrecuenciadeloquehabíaprevistoelmodelo,FICOylasagenciascalificadoraspueden ajustarlosmodelos para que seanmás precisos. Es un uso razonable de laestadística.

Las calificaciones crediticias también son relativamente transparentes. El sitiowebdeFICO,[160]porejemplo,ofreceinstruccionessencillassobrecómomejorarlacalificación(reducirlasdeudas,pagarlasfacturasatiempoynosolicitarmástarjetasde crédito).Otro aspecto igualmente importante es que el sector de la calificacióncrediticia está regulado. Según establece la ley, todo el que tenga dudas sobre sucalificacióncrediticiatienederechoapediryarecibirsuinformecrediticio,[161]enelque se incluye toda la informaciónqueesevaluadaenel cálculode la calificacióncrediticia,incluidoelhistorialdepagodelosplazosdelahipotecaydelasfacturasde suministros, la deuda total y el porcentaje de crédito disponible que utiliza.Aunqueelprocesopuedellegarasertortuosamentelento,siselocalizaalgúnerror,unopuedesolicitarquesecorrija.

Desde la época de los pionerosBill Fair yEarl Isaac, el uso de la calificacióncrediticia ha proliferado enormemente. En la actualidad se hacen todo tipo decálculossobrenosotros,ytantoestadísticoscomomatemáticossededicanacombinarde todas las maneras posibles un batiburrillo de datos, desde nuestros códigospostalesynuestrospatronesalnavegarporInternethastanuestrasúltimascompras.Muchos de sus modelos pseudocientíficos intentan predecir la solvencia crediticiaasignándonos a todos nosotros las denominadas calificaciones electrónicas. Estascifras,aunqueraravezllegamosaverlas,abrenlaspuertasdeparenparantealgunosdenosotrosylascierranenlasnaricesdeotros.AlcontrariodeloqueocurríaconlascalificacionesFICO,alasquepretendenparecerse,lascalificacioneselectrónicassonarbitrarias, no están reguladas, no dan explicaciones de su funcionamiento y amenudosoninjustas;enpocaspalabras,sonunADM.

LaempresaNeustar,[162]deVirginia,nosofreceunclaroejemplo.Neustarofreceserviciosdeidentificacióndeclientesparaempresas,como,porejemplo,unservicioque facilita lagestióndel tráficode llamadasde loscentrosdeatención telefónica.Paraexplicarlodeformamuysencilla,podemosdecirqueestatecnologíarevisalosdatos disponibles sobre las personas que están llamando y las ordena en unajerarquía. Los que aparecen en la parte superior son supuestamente los posiblesclientesqueresultaránmásrentables,porloqueselesponerápidamentealhablaconunoperador.Losqueestánenlaparteinferiortendránqueesperarmuchomástiempoo son transferidos a un centro subcontratado en el que suelen contestar máquinasautomáticas.

Las empresas de tarjetas de crédito como Capital One[163] realizan cálculossimilaresatodavelocidadenelinstanteenelquealguienaccedeasupáginaweb.Amenudo acceden a datos sobre patrones de compra y navegación web, lo que lesproporcionamuchainformaciónsobreelposiblediente.Esprobablequelapersona

www.lectulandia.com-Página115

Page 116: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

quehagaclicennuevosJaguarseamásricaquelaquecompruebaelbastidordeunTaurus de 2003 en Carfax.com, la página web de informes sobre vehículos desegunda mano. La mayoría de los sistemas de calificación también obtieneninformaciónsobrelalocalizacióndelordenadorconelqueseaccedealapáginaweb.Alcomprobarestainformacióncondatosinmobiliariossepuedensacarconclusionessobre el patrimonio del usuario. Una persona que utiliza un ordenador en laurbanización de lujo Balboa Terrace de San Francisco es un diente mucho másinteresantequeunapersonaquevivaalotro ladode labahía, enEastOakland,unbarrioconunaimportantecomunidadafroamericana.

No debería sorprendernos la existencia de estas calificaciones electrónicas.Hemosvistomodelosquesenutrendedatossimilaresparaidentificaralosposiblesdientesdepréstamosabusivosoparacalcularlasprobabilidadesdequerobemosuncoche.Parabienoparamal,noshanguiadohastalauniversidad(ohastalacárcel)yhaciaunempleo,yluegonoshanoptimizadoennuestropuestodetrabajo.Ahoraquetalvezhayallegadoelmomentodecomprarunaviviendaouncoche,eslógicoquelos modelos financieros exploten la misma montaña de datos para volver aevaluarnos.

Reflexionemos sobre el cruel bucle de retroalimentación que crean lascalificaciones electrónicas. Es altamente probable que el sistema de calificaciónelectrónica asigne a los residentes de la zona más dura de East Oakland unacalificacióncrediticiabaja.Seguroqueamuchasde laspersonasquevivenahí lescuestahacerfrentealosplazosdesuspréstamos.Demodoquelaofertadetarjetadecrédito que aparecerá en sus pantallas estará dirigida a un grupo demográfico demayorriesgo.Estosignificaqueprecisamentelaspersonasqueyatienendificultadeseconómicastendránmenoscréditodisponibleypagarántiposdeinterésmásaltos.

Granpartedelapublicidaddepredadoradelaquehemoshablado, incluidoslosanuncios de créditos rápidos y de universidades privadas con ánimo de lucro, segenera empleando este tipo de calificaciones electrónicas. Son sustitutos de lascalificaciones crediticias, pero dado que las empresas tienen prohibido utilizar lascalificaciones crediticias a efectos demarketing, se las apañan con este sucedáneopocoriguroso.

Esaprohibición tiene cierta lógica.Al fin y al cabo, nuestrohistorial crediticioincluyedatosmuypersonalesyesperfectamentelógicoqueseamosnosotrosquienesdecidamos quién puede tener acceso a él. No obstante, la consecuencia es que lasempresasacabansumergiéndoseenconjuntosdedatossinapenasregulación,comoelanálisisde losclicsenlaspáginaswebylasetiquetasdegeolocalización,conelpropósitodecrearunmercadodedatosparalelo,yenesteprocesologranevitargranpartedelasupervisióngubernamental.Posteriormentemideneléxitoenincrementosde eficiencia, flujo de caja y beneficios. Salvando algunas excepciones, conceptoscomolajusticiaolatransparencianoentranensusalgoritmos.

www.lectulandia.com-Página116

Page 117: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Comparemosestasituaciónconelbanquerodeladécadade1950,Esebanqueroponderaba,yafueradeformaconscienteoinconsciente,variospuntosdedatosquetenían nada o poco que ver con la capacidad del aspirante a prestatario para hacerfrenteaunahipoteca.Elbanqueromirabaalapersonaqueestabasentadaalotroladodesumesa,veíalarazadesudienteyextraíaconclusionesdeestainformación.Esposiblequelosantecedentespenalesdesupadrelerestaranpuntos,mientrasqueelhechodequefuerahabitualmenteamisapodríaserconsideradocomoalgopositivo.

Todos estos puntos de datos eran valores sustitutivos. Para evaluar laresponsabilidad financiera de su cliente, el banquero podía estudiar las cifrasfríamente (tal y como seguramente harían algunos banqueros ejemplares), pero encambioestablecíacorrelacionesconlaraza,lareligiónylosmiembrosdesufamilia.Al actuar así, no estudiaba al prestatario como individuo, sino que lo clasificabadentrodeungrupodepersonas—comosesueledecir,lometíadentrodeunmismosaco—.Las«personassimilaresaesecliente»,decidiríaelbanquero,songenteenlaquesepuedeonosepuedeconfiar.

La gran ventaja de Fair e Isaac fue que descartaron los valores sustitutivos yutilizaron datos financieros relevantes, como el comportamiento en el pasado a lahoradepagar las facturas.Centraronsuanálisisen lapersonaencuestión,ynoenotras personas con atributos similares. Las calificaciones electrónicas, por elcontrario,noshacenretrocedereneltiempo.Analizanalapersonaatravésdetodounaluvióndedatos.Enunoscuantosmilisegundos,realizanmilesdecálculossobre«personas similares al individuo analizado». Y si un número suficiente de esaspersonas«similares»al individuoanalizado resultanserunosholgazaneso, inclusopeor,delincuentes,eseindividuoserátratadocomosiélmismolofuera.

Devezencuandomepreguntancómomelasarregloparaenseñaréticaenunaclaseparacientíficosdedatos.Sudoempezarconundebatesobrecómoconstruirunmodelo de calificación electrónica y les pregunto si piensan que se debe incluir la«raza» como dato de entrada. Su respuesta inmediata es que incluir una preguntasobre la raza sería injusto y probablemente también ilegal. A continuación lespreguntosidebemosutilizarun«códigopostal».Enprincipioesto lesparece justo,peroalcabodeunosminutoslosestudiantessedancuentadequeestáncodificandoinjusticiasdelpasadoensumodelo.Al incluirunatributocomoel«códigopostal»expresan la opinión de que la historia del comportamiento humano en una parcelaconcretadeberíadeterminar,almenosenparte,eltipodepréstamoalquedebeteneraccesolapersonaqueviveallí.

En otras palabras, las personas que construyen modelos para calificacionescrediticias tienen que ingeniárselas para contestar a la pregunta: «¿Cómo se hancomportado en el pasado las personas como el individuo analizado?», cuandoidealmente deberían preguntarse: «¿Cómo se ha comportado en el pasado elindividuoanalizado?».

www.lectulandia.com-Página117

Page 118: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Ladiferenciaentreestasdospreguntasesgrande. Imaginemosqueunapersonaresponsableymuymotivadaconorígeneshumildesenlainmigraciónintentamontarun negocio y depende de este tipo de sistema para la inversión inicial. ¿Quién searriesgaríaconalguienasí?Probablementeunmodelodesarrolladoconeste tipodedatosdemográficosyconductualesnuncacreeríaenella.

Debemosseñalarqueeneluniversoestadísticoenelqueseempleanlosvaloressustitutivos, estos a menudo funcionan bien. Casi siempre se cumple el dicho de«Dios los cría y ellos se juntan». Los ricos compran cruceros y BMW. Y condemasiada frecuencia los pobres necesitan préstamos rápidos. Y dado que estosmodelos estadísticos parecen cumplirse casi siempre, aumenta la eficiencia y semultiplican los beneficios. Y los inversores ponen más dinero en los sistemasinformáticosqueclasificanamilesdepersonasenloqueparecenser lascategoríascorrectas.Eseltriunfodelbigdata.

¿Yquépasaconlapersonaalaquelossistemasinterpretanmalyclasificanenuna categoría incorrecta? Pues eso es precisamente lo que le ocurre. No hayretroalimentaciónalgunaquecorrijaelsistema.Unmotorqueanalizaestadísticasnotiene forma alguna de aprender que acaba de enviar la llamada de un posible yvaliosoclientealinfiernodelossistemasderespuestasautomáticas.Y,loqueespeor,losperdedoresdeluniversonoreguladodelascalificacioneselectrónicascuentanconescasosrecursosparapresentarunaqueja,yaúnmenosparacorregirunerrorenelsistema.EnelreinodelasADM,ellossonlosdañoscolaterales.Ypuestoqueestetenebroso sistema está ubicado en lejanas granjas de servidores, las víctimas casinunca descubren el error.Lomás probable es que lamayoría de ellas lleguen a lasencillaconclusióndequelavidaessimplementeasídeinjusta.

***

En el mundo que he descrito hasta el momento, las calificaciones crediticiasalimentadaspormillonesdevaloressustitutivosexistenenlassombras,mientrasquenuestrosinformesdesolvenciacrediticia,contodoslosdatospertinentesyrelevantes,se rigen por el Estado de derecho. Lamentablemente no es así de sencillo. Condemasiada frecuencia los propios informes de solvencia se utilizan también comovaloressustitutivos.

Noesdeextrañarqueungrannúmerodeentidadesennuestrasociedad,desdelasgrandesempresashastaelGobierno,busquenapersonasresponsablesenlasquesepueda confiar. En el capítulo en el que hablamos de cómo conseguir un empleo,vimosque estas entidades revisan los currículosy excluyena los candidatos cuyaspruebas psicológicas muestran indicios de atributos personales no deseables. Otraprácticamuyhabitualconsisteenconsiderar lacalificacióncrediticiadelsolicitantedeempleo.Losempleadoresseplantean,siunapersonapagasusfacturasatiempoyevitacontraerdeudas,¿noesseñaldequesetratadeunapersonaformalenlaquese

www.lectulandia.com-Página118

Page 119: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

puede confiar? Saben que no es exactamente lo mismo, pero ¿no habrá unacoincidenciasignificativa?

Así es como los informesde solvencia crediticia se han expandidomuchomásalládesuterritoriooriginal.Lasolvenciacrediticiasehaconvertidoenunsustitutodemasiadofácildeotrasvirtudes,Y,a la inversa, lamorosidadsehaconvertidoensinónimodeunamultituddepecadosydefectosquenotienennadaqueverconpagarlas facturas. Como veremos a continuación, todo tipo de empresas convierten losinformes de solvencia en sus propias versiones de calificaciones crediticias y lasutilizan como valores sustitutivos. Esta práctica es muy perjudicial y está muyextendida.

En ciertas aplicaciones la utilización de este tipo de valores sustitutivos puedeparecerinofensiva.AlgunosserviciosdebúsquedadeparejaenInternet,porejemplo,emparejanalagenteenbaseasuscalificacionescrediticias.Unodeestosservicios,CreditScoreDating, proclama que las «buenas calificaciones crediticias son sexis».[164]Podemosdebatirsitienesentidoestablecerunarelaciónentreelcomportamientofinancieroyelamor,peroalmenoslosclientesdeCreditScoreDatingsabenenloquesemetenyporqué.Ellosdeciden.

No obstante, cuando se busca trabajo, hay muchas probabilidades de que elretrasoenelpagodeunodelosplazosdelatarjetadecréditoodelpréstamoparalosestudiosuniversitariostengaunefectonegativo.Segúnunestudiorealizadoporunaasociacióndelsector,laSociedaddelaGestióndeRecursosHumanos,casilamitaddelosempleadoresdeEstadosUnidoshacenelcribadodeloscandidatosanalizandosus informes de solvencia.[165] Algunos de dios verifican también la situación desolvencia crediticia del personal ya contratado, especialmente cuando solicitan unascenso.

Antes de realizar estas comprobaciones, las empresas deben pedir permiso a lapersonaencuestión,peroestosueleserunameraformalidad.Enmuchasempresas,los que se nieguen a autorizar el acceso a sus datos crediticios no serán siquieraconsideradosparaelpuesto.Ysisuhistorialdesolvenciacrediticianoesbueno,lomás probable es que los ignoren.Un estudio realizado en 2012 sobre la deuda entarjetasdecréditoenfamiliasderentamediaybajademostróclaramentequeestoesasí.[166]El10%delosencueradosdeclaróquelosresponsablesdecontrataciónleshabían dicho que las manchas de su historial crediticio habían acabado con susposibilidadesdesercontratadosynadiesabecuántosdeellosquedaronexcluidosdelprocesode selecciónpor sus informesde solvencia, aunquenadie les informaradeello.Sibienlaleyestablecequelasempresasdebeninformaralosdemandantesdeempleo si quedan excluidos de un proceso de selección debido a problemasrelacionados con su solvencia crediticia, no cuesta mucho imaginar que algunasempresassimplementedicenaloscandidatosquenosonlapersonaadecuadaoquehabíaotrosconmejorescualificaciones.

www.lectulandia.com-Página119

Page 120: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Esta práctica de utilizar las calificaciones crediticias en la contratación y losascensos crea un peligroso ciclo de pobreza. Al fin y al cabo, si una persona noconsigueunempleoporquetieneunmalhistorialcrediticio,dichohistorialcrediticionoharámásqueempeorar, loqueharáque le resulte aúnmásdifícil conseguirunempleo. Es similar al problema al que se enfrentan los jóvenes cuando buscan suprimer empleo y no son siquiera tenidos en consideración debido a su falta deexperiencia.Olasituacióndelosdesempleadosdelargaduración,quevenquenadielos contrata porque llevan demasiado tiempo sin trabajar. Es un círculo vicioso decaídayderrotaparalosdesafortunadosquequedanatrapadosenél.

Las empresas, obviamente, sienten poca compasión por este argumento. Dicenqueunbuenhistorialcrediticioesunatributoquedefineaunapersonaresponsable,queeseeseltipodepersonaquequierencontratar.Noobstante,hacerdelasdeudasunacuestiónmoralesungranerror.Muchaspersonasmuy trabajadorasy formalespierden su empleo todos los días porque sus empresas quiebran, recortan costes otrasladan los puestos de trabajo al extranjero. Y estas cifras crecen durante lasrecesiones. Entonces muchos de los nuevos desempleados en Estados Unidosdescubrenque sehanquedado sin seguromédico.Cuandounapersonaestá enesasituación, basta con que se produzca un accidente o una enfermedad —cuyotratamientotendráquepagardesubolsillo—paraqueseretraseenelpagodealgúnplazodeunpréstamo.InclusodespuésdelaaprobacióndelaLeysobrelaAtenciónSanitariaAsequibleconlareformasanitariadeObama,quelogróreducirelnúmerode personas que no tienen seguro médico, los gastos sanitarios siguen siendo laprincipalcausadequiebraentrelosestadounidenses.[167]

Evidentemente, las personas que tienen ahorros pueden mantener un historialcrediticioimpolutoinclusoenlosmomentosdifíciles.Losqueapenaslleganafindemes son mucho más vulnerables. Por consiguiente, una excelente calificación desolvencia crediticia no es simplemente un valor sustitutivo de responsabilidad ydecisiones inteligentes, sino que también es un valor sustitutivo de riqueza. Y lariquezaestáestrechamenterelacionadaconlaraza.

Pensemosenlosiguiente.En2015loshogaresdeblancosposeíandemediaunasdiezvecesmásdineroeinmueblesqueloshogaresdeafroamericanosydehispanos.[168]Ymientrasquesoloel15%deloshogaresdeblancosteníanunpatrimonionetoigualaceroonegativo,másdeunterciodeloshogaresdeafroamericanosehispanosnoteníanningúncolchón,[169]Estabrechadelariquezaaumentaconlaedad.Alossesenta años, los blancos son once veces más ricos que los afroamericanos. Sitenemosencuentaestascifras,noresultadifícilafirmarquelatrampaquesuponenlascomprobacionesdesolvenciacrediticiadelosdemandantesdeempleoafectaalasociedadde formadesigualy tieneconnotaciones raciales,Hasta elmomento,diezestadoshanaprobadolegislaciónespecíficaparaprohibirelusodelascalificacionescrediticias en la contratación,[170] Al aprobar esta prohibición, el Ayuntamiento deNueva York declaró que la utilización de comprobaciones de solvencia crediticia

www.lectulandia.com-Página120

Page 121: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

«afectadeformadesproporcionadaaloscandidatosderentabajayaloscandidatosdecolor».Peseatodo,estaprácticasiguesiendolegalencuarentaestados.

EstonoquieredecirquelosdepartamentosdepersonaldetodoEstadosUnidosesténconstruyendodeformaintencionadauna trampadepobreza,nimuchomenosunatramparacista.Sindudacreenrealmentequelosinformesdesolvenciaincluyenhechos relevantesque les ayudana tomardecisiones importantes.Al finyal cabo,«cuantos más datos mejor» es el hilo conductor de la era de la información. Noobstante,ennombredelajusticia,algunosdeesosdatosdeberíanquedarfueradeloscálculos.

ImaginemosporunmomentoaunreciénlicenciadodelaFacultaddeDerechodelaUniversidaddeStanfordduranteunaentrevistadetrabajoenunprestigiosobufetedeSanFrancisco,Elsocioséniormiraelarchivogeneradoporsuordenadoryseechaareír.«¡AquídicequelehanarrestadopordirigirunlaboratoriodemetanfetaminasenRhodeIsland!».Muevelacabeza,eljoventieneunnombremuycomúnyseguroquelosordenadoresconfundenfácilmentealaspersonasquesellamanigual.Continúalaentrevista.

Enlosnivelesmásaltosdelaeconomía,sonlossereshumanoslosquetomanlasdecisiones,aunqueutilicena losordenadorescomoherramientasútiles,pero,comoyahemosvisto, en losnivelesmediosde la economía,yespecialmenteen losmásbajos, gran parte del trabajo está automatizado. Cuando aparecen errores en unexpediente—yesoesalgoqueocurreconfrecuencia—,inclusolosalgoritmosmejordiseñadostomaránladecisiónequivocada.Comosiemprehandicholosfanáticosdelosdatos:sientrabasura,salebasura.

La persona que se encuentra al otro lado de este proceso automatizado puedesufrirlasconsecuenciasdeunerrordeestetipoduranteaños.Porejemplo,laslistasde los terroristasque tienenprohibidovolar, que songeneradasporordenador, sonconocidas por estar plagadas de errores, Una persona inocente cuyo nombre separezcaaldeun sospechosode terrorismoseenfrentaaunauténticocalvariocadavez que tiene que subirse a un avión (mientras que los viajeros ricos a menudopueden pagar para adquirir el estatus de «viajero de confianza» y así pasar tancampantesporelcontroldeseguridad;yenrealidadloquehacenesinvertirdineroparaprotegersedeunADM).

Este tipodeerroresafloranpor todaspartes.LaComisiónFederaldeComercioanunció[171]en2013quehabíanestimadoqueenlosinformesdesolvenciadel5%de los consumidores —unos diez millones de personas— había un error losuficientementegravecomoparahacerquetenganqueasumircostesmásaltosensuspréstamos.Estoesproblemático,aunquealmenoslosinformesdesolvenciaestánenel lado regulado de la economía de datos. Los consumidores pueden (y deberían)solicitar una copia de sus informesde solvencia unavez al añopara enmendar loserrorespotencialmentecostosos.[172]

www.lectulandia.com-Página121

Page 122: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Pesea todo,el ladonoreguladodelaeconomíadedatosesaúnmáspeligroso.Incontables empresas, desde gigantes como Acxiom Corp. hasta multitud deempresas de dudosa reputación, compran información a los supermercados, losanunciantes, los desarrolladores de aplicaciones para móviles y las empresas queorganizanrifasogestionanredessocialesparareunirmontonesdedatossobrecadaunodelosconsumidoresdelpaís.Puedenanotar,porejemplo,siunconsumidortienediabetes, vive en un hogar donde hay un fumador, conduce un todoterreno de altagamaotieneunaparejadeperrospastoresescoceses(quepuedequesiganvivosenelexpediente mucho después de haber pasado a mejor vida). Estas empresas —lasagenciasdedatos—tambiénarañan todo tipodedatospúblicamenteaccesiblesdelGobierno,comolosregistrosdelaseleccionesydelnúmerodearrestosodelaventade viviendas.Al final introducen toda esa información en un perfil de consumidorquevendendespués.

Sinduda,algunasagenciasdedatossonmásseriasqueotras,aunquetambiénesseguro que cualquier operación cuyo propósito sea crear perfiles de cientos demillones de personas a partir de miles de fuentes de información diferentes seequivoca enmuchas cosas.Veamos el ejemplo deHelen Stokes, de Filadelfia.[173]Queríatrasladarseauncentroparamayorescercadesucasa,perolarechazabanunayotravezporqueensusantecedentespenalesaparecíanvariosarrestos.Esciertoquehabía sido arrestada dos veces durante unos altercados con su exmarido, pero nohabía sido condenada y había conseguido borrar sus antecedentes de las bases dedatos gubernamentales. No obstante, los antecedentes de estos arrestos seguíanapareciendoenlosexpedientesrecopiladosporunaempresallamadaRealPage,Inc.,quesededicaalacomprobacióndelpasadodeloscandidatosaarrendatarios.

La creación y venta de informes es la fuente de ingresos de RealPage y otrasempresas similares.Y las personas comoHelen Stokes no son sus clientes; son elproducto.Contestarasusquejaslescuestatiempoydinero.Alfinyalcabo,aunqueHelenStokesdigaquelosarrestoshansidosuprimidos,verificarestehechoconsumetiempoydinero.Esposiblequeuncostososerhumanotengaquepasarunoscuantosminutos en Internet o incluso—Dios no lo quiera— hacer un par de llamadas deteléfono, No es de extrañar, por tanto, descubrir que Stokes solo consiguió quelimpiaransuhistorialcuandodenuncióalaagenciadedatosantelostribunales.Peroincluso después de que RealPage corrigiera el error, ¿cuántas empresas de datosseguiránvendiendoexpedientesconlamismainformaciónerróneaynociva?Resultaimposiblesaberlo.

Algunasagendasdedatosofrecenalosconsumidoreselaccesoasusdatos,perolos informes a los que el público tiene acceso han sido especialmente adaptados.Incluyen los hechos, pero no siempre las conclusiones que los algoritmos de lasagenciasdedatoshanextraídodeellos.Siunapersonapresentatodaslassolicitudesnecesarias para ver su expediente en una de las múltiples agencias de datos, porejemplo, quizá vea la hipoteca de la casa, una factura pendiente de la empresa de

www.lectulandia.com-Página122

Page 123: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

telecomunicacionesVerizony459dólaresdedeudaporunareparaciónenlapuertadel garaje. No obstante, esa persona no tendrá acceso a la sección en la que seespecificaque lahanclasificadoenel«saco»de laspersonas«ruralesyquenuncatendránéxito»obajoeltítulo«llegaránalajubilaciónconlasmanosvacías».[174]Porsuerteparalasagenciasdedatos,pocosdenosotrosllegamosaverestosdetalles.Silosviéramos,ylaComisiónFederaldeComercioestápresionandoparaimponerlesunamayorobligaciónderendircuentas,esprobablequelasagenciasdedatosfueransitiadasporlasquejasdelosconsumidores—pormillonesdeellas—.Porahora,losconsumidoressolodescubrenquesusexpedientessonincorrectoscuandoaalguienseleescapaalgo,normalmenteporcasualidad.

Catherine Taylor, residente enArkansas,[175] por ejemplo, fue rechazada en unprocesodecontratacióndelaCruzRojalocalhacevariosaños.Esoesalgonormal,pero la carta de rechazo dirigida a Catherine Taylor incluía una valiosa perla deinformación. El informe sobre Catherine incluía cargos penales por intento defabricar y vendermetanfetaminas.No era en absoluto la clase de candidata que laCruzRojadeseabacontratar.

Catherine Taylor investigó su informe y descubrió que los cargos penales eranefectivamente cargos reales, solo que contra otra Catherine Taylor, que daba lacasualidaddequehabíanacidoelmismodíaqueella.Posteriormentedescubrióquehabía al menos otras diez empresas con errores en su expediente —una de ellasrelacionada con la solicitud de ayuda a la vivienda que había presentada ante elGobiernofederalyquehabíasidodenegada—.¿Lehabríasidodenegadaporunerrorensuidentidad?

Sisehubieratratadodeunprocesoautomático,sindudapodríaserelcaso,perounserhumanahabíaintervenidoenelproceso.Cuandosolicitaronlaayudaparalavivienda,CatherineTaylorysumaridosereunieronconunaempleadadelaagenciafederaldeviviendaparahacerlascomprobacionesdesuexpediente.Estaempleada,Wanda Taylor —aunque sin relación alguna con Catherine—, estudiaba laInformación suministrada porTenantTracker, una agencia de datos.El informedeestaagenciaestabarepletodeerroreseidentidadesmezcladas.MezclabaaCatherineTaylor,porejemplo,conelposiblealiasdeChantelTaylor,unaconvictaquehabíanacidoelmismodíaqueella.TambiénlarelacionabaconlaotraCatherineTaylor,dela que ya había oído hablar y que había sido condenada en Illinois por robo,falsificaciónyposesióndesustanciasilegales.

El expediente, en pocas palabras, era un caos tóxico, peroWanda Taylor teníaexperienciaconestetipodesituaciones,Empezóaescarbarenélyrápidamentetachóel posible alias, Chantel, que le parecía muy improbable. Leyó que la ladrona deIllinois tenía un tatuaje en el tobillo con el nombre de Troy y, tras comprobar eltobillodeCatherineTaylor, tachó también el nombrede la convicta.Al final de lareunión, un ser humano concienzudo había aclarado la confusión generada por los

www.lectulandia.com-Página123

Page 124: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

programas de recopilación de datos a través de la web. Ahora la agencia para laviviendasabíadequéCatherineTaylorsetrataba.

Lapreguntaalaquenosenfrentamoseslasiguiente:¿cuántasWandaTaylorhaypor ahí dilucidando identidades falsas y otros errores en nuestros datos? Y larespuestaesmuysencilla:no lassuficientes.Lossereshumanosen laeconomíadelos datos son casos atípicos y simbolizan un paso atrás. Los sistemas han sidodiseñados para funcionar de forma automática en lamedida de lo posible. En esoradica la eficiencia; de ahí es de donde provienen los beneficios. Los errores soninevitables, comoen cualquier programaestadístico, pero lamaneramás rápidadereducirlosesajustando losalgoritmosquehacen funcionar lasmáquinas.Los sereshumanosenelterrenonohacenmásqueralentizareltrabajo.

Estatendenciahacialaautomatizaciónavanzaapasosagigantadosgraciasaquelosordenadoresanalizancadavezmejornuestrolenguajeescritoylleganenalgunoscasosaprocesarmilesdedocumentosencuestióndesegundos.Peseaello, siguenmalinterpretando todo tipo de cosas. El super ordenador Watson de IBM queparticipó en el concurso de televisión estadounidense de preguntas Jeopardy!, pormuybrillantequesea,pasóentornoal10%deltiempocompletamenteconfundidoporellenguajeoelcontexto.Seleoyódecirqueladietadeunamariposaerakóshery una vez confundió aOliver Twist, el personaje deCharlesDickens, con los PetShopBoys,lafamosabandatecnopopdeladécadade1980.[176]

Seguroqueestetipodeerroresseacumulanennuestrosperfilesdeconsumidoresyconfundenyorientanenladirecciónequivocadaalosalgoritmosquedirigencadavez más nuestras vidas. Estos errores, que son el resultado de la recopilaciónautomatizadadedatos,contaminanlosmodelospredictivosynutrenlasADM.Yestetipoderecopilacióndedatosestácreciendo.Losordenadoresestányaextendiendosuámbito de actuaciónmás allá de los textos escritos. Están empezando a recoger ellenguajeoralylasimágenesylosutilizanparacaptarmásinformaciónsobretodoloque hay en el universo—incluidos nosotros—.Estas nuevas tecnologías extraeránnuevostesorosdedatosparanuestrosperfiles,altiempoqueacrecentaránelriesgodeerrores.

Recientemente, Google procesó las imágenes de tres jóvenes y felicesafroamericanos y su servicio de etiquetado automático de fotografías los etiquetócomogorilas.[177]Laempresasedeshizoenmildisculpas,perolociertoesqueenlossistemasautomáticoscomoeldeGoogleloserroressoninevitables.Lomásprobablees que el ordenador confundiera alHomo sapiens con nuestro primo cercano, elgorila,comoresultadodeunaprendizajeautomáticoequivocado(ynoporculpadeunalgoritmoracistasueltoporelGoogleplex),Elsoftwarehabía revisadomilesdemillonesdeimágenesdeprimatesélsolitoyhabíaestablecidosuspropiasdiferenciasentreellos.Sehabíafijadoentodo,desdelastonalidadesdecolorhastaladistanciaentre los ojos o la forma de las orejas, pero aparentemente no lo probaron losuficientementebienantesdeponerloatrabajar.

www.lectulandia.com-Página124

Page 125: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Este tipode errores constituyenoportunidadesde aprendizaje—siempreque elsistemarecibalaretroalimentaciónadecuadainformándoledelerror—.Enestecasofueasí.Noobstante, la injusticiapersiste.Cuando lossistemasautomáticosrevisannuestros datos para evaluarnos y producir una calificación electrónica, hacen unaproyeccióndelpasadohaciael futuro.Comovimosen losmodelosaplicadosa lascondenasdelosreincidentesyenlosalgoritmosdelospréstamosabusivos,sesuponeque los pobres serán siempre pobres, y son tratados como tal —se les nieganoportunidades, son encarcelados con más frecuencia y se les cobra más por losserviciosylospréstamos—.Esunatendenciainexorable,amenudoocultayquenoadmiteimpugnaciones,yporsupuesto,esinjusta.

Sinembargo,nopodemoscontarconquelossistemasautomáticosresolveránelproblema.Lasmáquinas,peseasualarmantepoder,aúnnosoncapacesdeintroducirmodificacionespara sermás justas, o almenosnopuedenhacerlo solas.Examinarcuidadosamentelosdatosparadeterminarloqueesjustoesunatareaquelesresultatotalmente ajena y enormemente complicada. Solo los seres humanos puedenimponerestarestricción.

Nos encontramos ante una paradoja. Si volvemos por última vez a la era delbanquerode ladécadade1950,veremosque sumente estaba sujeta adistorsioneshumanas—deseos,prejuicios,desconfianzaantelosdesconocidos—.Pararealizarsutrabajodeformamásjustayeficiente,élytodoelsectorsepusieronenmanosdeunalgoritmo.

Sesenta añosmás tarde, elmundoestádominadopor sistemas automáticosquedifunden por doquier nuestros expedientes repletos de errores. Las máquinasnecesitanurgentementelacomprensióndelcontexto,elsentidocomúnyelsentidodela justiciaquesolo lossereshumanospuedenaportar.Noobstante, sidejamosesteasuntoenmanosdelmercado,quepremialaeficiencia,elcrecimientoyelflujodeefectivo(al tiempoque toleraunciertogradodeerror),seacabaráordenandoa losentrometidossereshumanosquenoseacerquenalamaquinaria.

Nosenfrentamosaunasituacióndifícil,porquealmismotiempoquesalena la luzlos problemas de los viejos modelos crediticios, llegan con fuerza poderosasnovedades. Facebook, por ejemplo, ha patentado un nuevo tipo de calificacióncrediticia basada en las redes sociales.[178] El objetivo es aparentemente razonable.PensemosenunlicenciadouniversitarioquepasacincoañosenunamisiónreligiosaayudandoallevaraguapotableapueblospobresenÁfrica.Cuandovuelveacasanotieneningunacalificacióncrediticiay tieneproblemaspara conseguirunpréstamo,pero sus compañeros de clase y amigos de Facebook trabajan en la banca deinversión,hanhechodoctoradososonprogramadores.Elanálisisdegrupoindicaríaqueestejovenesunaapuestasegura.Elproblemaesqueprobablementeestemismotipo de análisis resultará perjudicial para una limpiadora de SanLuisOriental quepuedequetengamuchosamigosdesempleadoseinclusoalgunosenlacárcel.

www.lectulandia.com-Página125

Page 126: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Mientras tanto, el sector de la banca tradicional hurga frenéticamente entre losdatospersonalesparaintentarimpulsarsunegocio.Sinembargo,losbancosoficialesestán sujetos a la legislación federal estadounidense y a la obligatoriedad de lainformación, y esto significa que hacer perfiles de los dientes comporta riesgosjurídicosyparasureputación.AmericanExpressaprendióestalecciónporlasmalasen2009,[179]justoalprincipiodelarecesión.Sindudaconelobjetivodereducirelriesgo de su propio balance de situación, American Express decidió reducir loslímitesdegastodealgunosdesusclientes.Noobstante,alcontrariodeloqueocurreconlosactoresinformalesdelaeconomíadelacalificaciónelectrónica,elgigantedelas tarjetas de crédito tuvo que enviar una carta a sus clientes explicándoles sudecisión.

YfueentoncescuandoAmericanExpressasestóungolpebajoasusdientes.Laempresalesdecíaensucartaquelostitularesdetarjetasdecréditoquecomprabanenciertos establecimientos tenían unamayor probabilidad de retrasarse en los pagos.Era una cuestión estadística, lisa y llanamente, una clara correlación entre lospatronesdecompraylastasasdemorosidad.YapartirdeahílosinfelicesclientesdeAmerican Express tendrían que adivinar que establecimiento había intoxicado sucapacidad crediticia. ¿Era por la compra semanal enWalmart o tal vez por habercambiadolosfrenosdelcocheenGreaseMonkey?¿Quégastoeraelculpabledequeahoraselesconsideraraholgazanesenpotencia?

Fuera cual fuera la causa, la consecuencia fue que los clientes empezaron unadurarecesiónconunamenordisponibilidaddecrédito.Y,loqueespeor,lareducciónde su límite de gasto quedó reflejada en cuestión de días en sus informes desolvencia.Dehecho,esprobablequeaparecieraensusexpedientesinclusoantesdequeellosrecibieranlanotificacióndelbanco.Estobajósucalificaciónyaumentóloscostesque tendríanquepagarpor lospréstamos.Podemos suponerquemuchosdeestos dientes frecuentaban «tiendas asociadas con tasas bajas de devolución depréstamos»precisamenteporqueno les sobrabaeldinero.¿Acasonoesobvio?Unalgoritmosepercatódeestoyloshizoaúnmáspobres.

La indignación de los clientes de American Express atrajo la atención de losgrandesperiódicos,entreelloselNewYorkTimes,yAmericanExpressrápidamenteanunció que no establecería ninguna correlación entre los comercios y el riesgo(American Express posteriormente insistió en que en la carta había errores deredacción y que en realidad habían analizado únicamente patrones de consumogenerales,notiendasconcretas).

La historia fue todo un quebradero de cabeza y una auténtica vergüenza paraAmericanExpress.Ysirealmentehabíanencontradounafuertecorrelaciónentrelascompras en una tienda concreta y el riesgo crediticio, ya no podía usarla. EncomparaciónconlamayorpartedelaeconomíaenInternet,podríamosdecirquelabancaofflineestáatadademanos,regulada,enciertosentido,discapacitada.(Nodigoquetenganrazonesparaquejarse.Alolargodevariasdécadas,losgruposdepresión

www.lectulandia.com-Página126

Page 127: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

de la banca han ido dando forma a distintas normativas con el propósito deatrincherar bien a los poderes establecidos —y de mantener a los molestosadvenedizosfueradelmercado—).

Demodo que ¿a quién sorprende que los nuevos actores del sector financieroprefieranlavíamáslibreymenosregulada?Lainnovación,alfinyalcabo,sebasaenlalibertadparaexperimentanYconpetabytesdedatosconductualesenlapuntadelosdedosyvirtualmentenadadesupervisión,existengrandesoportunidadesparalacreacióndenuevosmodelosdenegocio.

Numerosas empresas, por ejemplo, están intentando reemplazar a las empresasqueconcedenpréstamosrápidos.Estosbancosdeúltimorecursoatiendenalaclasepobretrabajadora,ayudándolesallegarafindemestodoslosmesesycobrándolesexorbitantes tipos de interés por ello. Al cabo de 22 semanas, un crédito de 500dólares puede llegar a costar 1,500. De modo que si un actor eficiente encuentranuevasformasdecalificarelriesgoydistinguiraloscandidatossolventesdentrodeestegrupodepersonasdesesperadas,podríacobrarlesuninterésalgoinferioryseguirganandomontonesdedineroconellos.

EsafuelaideaquetuvoDouglasMerrill,antiguoresponsabledeoperacionesenGoogle, que estaba convencido de que podía utilizar el big data para calcular elriesgoyofrecerpréstamos rápidosamejorprecio.[180]En2009 fundóuna start-upllamadaZestFinance.Enlapáginawebdelaempresa,DouglasMerrillproclamaque«cualquierdatoesundatocrediticio».[181]Esdecir,quetodovale.

ZestFinancesehacecondatosquemuestransi lossolicitantesde lospréstamoshanpagadosiempresusfacturasdemóvilatiempo,asícomoconmuchosotrosdatospúblicamentedisponiblesoqueestánenventa.TalycomoMerrillpromete,lostiposde interés que ofrece su empresa son inferiores a los que cobran la mayoría deprestamistasdecréditosrápidos.Unpréstamotípicode500dólaresconZestFinancecuesta900dólaresalcabode22semanas,un60%menosdelohabitualenelsector.[182]

Esciertoquesuponeunamejora,pero¿es justo?Losalgoritmosde laempresaprocesan hasta 10.000 puntos de datos por solicitante, incluidos algunos elementosinusuales,comoelhechodequelossolicitantesrellenenelformulariodesolicitudsinfaltasdeortografíayutilizandocorrectamentelasmayúsculas,el tiempoquetardanenleerloosiseparanaleerlostérminosycondicionesono.[183]SegúnLaempresa,laspersonasque«cumplenlasnormas»tienenunmenorriesgocrediticio.

Puedequeesoseacierto,perotambiénloesqueloserroresdepuntuaciónydeortografía apuntan a un bajo nivel educativo, lo que a su vez está estrechamenterelacionado con la clase social y la raza. De modo que, cuando los pobres y losinmigrantes solicitanunpréstamo,esposiblequesuscompetencias lingüísticaspordebajo de la media supongan para ellos un incremento en los gastos asociados alcrédito.Ysiposteriormentetienendificultadesparapagardichosgastos,estehechovalidará el supuesto de que eran personas demayor riesgoy reducirá aúnmás sus

www.lectulandia.com-Página127

Page 128: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

calificacionescrediticias.Esuncírculoviciosocruel,ypagar las facturas a tiemposoloesunapartedetodoelproceso.

Cuando se construyen nuevos negocios basados en ADM es seguro que habráproblemas,inclusocuandolosactorestienenlamejordelasintenciones.Veamoselejemplo del sector de los préstamos entre particulares. Todo empezó en la décadapasada con la idea visionaria de que los prestatarios y los prestamistas podíanencontrarse en plataformas destinadas a ello. Era la democratización de La banca.Más personas tendrían acceso al crédito y millones de personas ordinarias seconvertirían en banqueros a corto plazo y además conseguirían una buenarentabilidadporsudinero.Yambospodríanprescindirdelosgrandesyavariciososbancos.

Unadelasprimerasplataformasdeintercambioentreparticulares,LendingClub,fuelanzadacomounaaplicacióndeFacebooken2006[184]yalcabodeunañohabíarecibidosuficientefinanciaciónparaconvertirseenunnuevotipodebanco.[185]Paracalcularelriesgodelprestatario,LendingClubcombinabaeltradicionalinformedesolvencia con los datos recopilados en la web. Su algoritmo, en pocas palabras,generabaunascalificacioneselectrónicasquesegúnelloseranmásprecisasque lascalificacionescrediticias.

Lending Club y su principal rival, Prosper, siguen siendomuy pequeños. Hangeneradomenosde10.000millonesdedólaresenpréstamos,[186]apenasunamínimapartedelmercadodepréstamosalconsumode3billonesdedólares.Y,sinembargo,recibenmucha atención. Los ejecutivos deCitigroup yMorgan Stanley ejercen dedirectivos en estas empresas de préstamos entre particulares[187] y el fondo deinversión deWells Fargo es elmayor inversor de Lending Club.[188] La oferta deaccionesdeLendingClubendiciembrede2014fue lamayorofertapública inicialdel año. Recaudó 870 millones de dólares[189] y alcanzó una valoración de 9,000millones, convirtiéndose así en el decimoquinto banco más valioso de EstadosUnidos.

Todoestealborototienepocoqueverconlademocratizacióndelcapitalyconlaposibilidad de deshacerse de los intermediarios. Según un informe publicado porForbes, el dinero institucional representa en la actualidadmásdel80%de toda laactividad de las plataformas de préstamos entre particulares.[190] Para los grandesbancos,lasnuevasplataformasrepresentanunacómodaalternativaalaestrictamentereguladaeconomíabancaria.Altrabajaratravésdelossistemasdepréstamosentreparticulares, los prestamistas pueden analizar todos los datos que deseen y puedendesarrollar sus propias calificaciones electrónicas. Pueden desarrollar correlacionesderiesgoconlosbarrios, loscódigospostalesy las tiendasenlasquecompransusclientes(ytodoellosintenerqueenviarlesembarazosascartasexplicandoelporqué).

¿Yquéimplicacionestieneestoparanosotros?Conelimparablecrecimientodelas calificaciones electrónicas, nos asignan a lotes y categorías aplicando fórmulassecretas, algunas de ellas alimentadas por expedientes cargados de errores.Nonos

www.lectulandia.com-Página128

Page 129: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

vencomoindividuos,sinocomomiembrosdetribus,yunavezclasificados,nohaymaneradedeshacersede esa etiqueta.Amedidaque las calificaciones electrónicascontaminanlaesferadelasfinanzas,vandesapareciendolasoportunidadesparalosmásnecesitados.Dehecho,encomparaciónconestemontóndeADMdesbocadas,elbanquero responsablede laconcesióndepréstamosdeayer—apesarde todossusprejuicios— ya no parece tan malo. El cliente que necesitaba un crédito siemprepodíarecurriralabazademirarledirectamentealosojosyapelarasuhumanidad.

www.lectulandia.com-Página129

Page 130: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

A

09NohayzonassegurasContratarunseguro

finales del siglo XIX, el famoso estadístico Frederick Hoffman creó unapotente ADM. Probablemente Hoffman, un alemán que trabajaba para la

Prudential Life Insurance Company, no pretendiese hacer ningún daño.[191] Másadelante en su vida, sus investigaciones aportaron mucho al sector de la saludpública.Desarrollóunvaliosotrabajoconlamalariayestuvoentrelosprimerosenasociarel cánceryel tabaco.Sinembargo,undíadeprimaverade1896,Hoffmanpublicó un informede 330páginas que ponía objeciones a la causa de la igualdadracialenEstadosUnidosyreafirmabalacondicióndeciudadanosdesegundaclasedemillonesdepersonas.Ensuinformeutilizabaestadísticasdetalladasparadefenderque las vidas de los afroamericanos eran tan precarias que la raza entera era«inasegurable».

LosanálisisdeHoffman,comomuchasdelasADMdelasquehemoshablado,eran estadísticamente erróneos.Al confundir causalidad con correlación, la enormecantidaddedatosquehabía recopiladosolosirvióparaconfirmar la tesisdeque laraza era un indicador importante de la esperanza de vida. El racismo estaba tanarraigado en su pensamiento que Hoffman, al parecer, no se paró a considerar enningúnmomentoquelapobrezay la injusticia tuviesenalgoqueverconla tasademortalidad de los afroamericanos, o que la falta de escuelas decentes, de tuberíasmodernas,depuestosdetrabajosegurosydeaccesoalaasistenciamédicapudiesenserloquelosestabamatandoaunaedadmástemprana.

Hoffman cometió también un error estadístico fundamental. Al igual que lacomisión presidencial, que en 1983 publicó su informe Nation at Risk, Hoffmanolvidó estratificar sus resultados. Consideró a los negros como a un único grupoenorme y homogéneo, con lo que cometió el error de no separarlos en diferentescohortesgeográficas,socialesoeconómicas.Paraél,unaprofesoranegradeBostonoNuevaYorkquellevaseunavidaorganizadanosediferenciabaennadadeunpeóndecampoquetrabajasedescalzodocehorasaldíaeneldeltadelMisisipi.Hoffmanestabacegadoporlaraza.

Ylomismoleocurríaatodoelsectordelosseguros.Desdeluego,coneltiempo,lasaseguradorasprogresaronunpocoensumaneradepensaryempezaronavenderpólizasafamiliasafroamericanas.Alfinyalcabo,sepodíaganardineroconellas.Sin embargo, se aferraron durante décadas a la idea de Hoffman de que existíangrupos enteros de población con mayor riesgo que otros (y algunos de ellos condemasiadoriesgo).Lascompañíasdeseguros,aligualquelosbanqueros,delimitaron

www.lectulandia.com-Página130

Page 131: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

barriosenlosquenoestabandispuestosainvertir.[192]Estaprácticacruel,conocidacomo redlining en Estados Unidos, ha sido declarada ilegal en varios textoslegislativos,comolaLeydelaViviendaJustade1968.[193]

Noobstante,casimediosiglodespués,elredliningsigueconnosotros,aunquedemanerasmuchomássutiles.AparececodificadoenlaúltimageneracióndeADM,AligualqueHoffman,loscreadoresdeestosnuevosmodelosconfundencorrelaciónconcausalidad,ycastigana lospobresyenparticulara lasminorías racialesyétnicas.Respaldansusanálisisconmontonesdeestadísticas,loquelesdaunaireartificiosodeimparcialidadcientífica.

Enesteviajealgorítmicoatravésdelavida,noshemosabiertopasoatravésdelaeducaciónyhemosconseguidountrabajo(aunqueseauntrabajoquenossumergeenhorariosdelocos).Hemospedidopréstamosyvistocómonuestrasolvenciacrediticiasirvedesustitutodeotrosviciosovirtudes.Ahorahallegadoelmomentodeprotegernuestrosmáspreciadosbienes—nuestrohogar,nuestrocochey lasaluddenuestrafamilia— y dejarlo todo dispuesto para nuestros seres queridos cuando ya noestemos.

Lossegurosnacierondelacienciaactuarial,cuyoorigensesitúaenelsigloXVII.[194]Fueunperiododegranenriquecimientoparalacrecienteburguesíaeuropea,enel que muchos pudieron permitirse el lujo, por primera vez, de pensar en lasgeneracionesfuturas.

Almismotiempoquelosavancesmatemáticosproporcionabanlasherramientasnecesariasparahacerpredicciones, unanuevageneraciónde fanáticosde losdatosbuscaba nuevos elementos que contar. Uno de ellos fue un vendedor de telas deLondresllamadoJohnGraunt.[195]Estudiólosregistrosdenacimientosydefuncionesy en 1682 elaboró el primer estudio de las tasas de mortalidad de toda unacomunidad.[196]Calculó,porejemplo,que losniños londinensescorríanun6%deriesgodemorir en cadaunode los seis primeros añosdevida[197] (y gracias a lasestadísticasacabóconelmitodequelapestesepropagabacadaañoqueunnuevoreyllegabaalpoder).Porvezprimera,losmatemáticospodíancalcularlatrayectoriavital más probable de una persona. Evidentemente, estas cifras no servían conpersonas individuales, pero cuando se consideraba un número lo suficientementegrande,sepodíanpredecirmediasyrangos.

Estosmatemáticos no pretendían predecir el destino de cada individuo. Eso esalgoimposibledesaber,peropodíanpredecirlaprevalenciadeaccidentes,incendiosy muertes dentro de grandes grupos de personas. A lo largo de los tres siglossiguientes,unaampliaindustriadeseguroscrecióentornoaestaspredicciones.Estenuevo sectorofrecíaporprimeravez laoportunidadde reunir el riesgocolectivoyprotegerasíacadaindividuocuandosufrieraunadesgracia.

Hoy en día, gracias a la evolución de la ciencia de datos y de los ordenadoresconectadosenred,elsectordelossegurosseenfrentaacambiosfundamentales.Aldisponer de cada vez más información —los datos de nuestro genoma, nuestros

www.lectulandia.com-Página131

Page 132: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

patronesdesueño,ejercicioydietaynuestrapericiaalvolante—, lasaseguradorascalcularán cada vez mejor el riesgo que corre cada persona individual y se iránliberandodelasgeneralidadesdelosgrandesgrupos.Muchosrecibieronestecambiocon los brazos abiertos.Hoy en día, una fanática de la salud puede demostrar condatosqueduermeochohorascadanoche,quecaminadieciséiskilómetrosaldíayquesolocomeverdurasdehojaverde,frutossecosyaceitedepescado.¿Porquénohabríadeconseguirundescuentoensuseguro?

El cambio hacia el individuo, como veremos, es muy rudimentario, pero lasaseguradoras ya están usando los datos para dividirnos en tribus cada vez máspequeñas,paraofrecernosbienesyserviciosdiferentesadistintosprecios.Puedequealgunaspersonasdiganqueesunserviciopersonalizado,perolociertoesquenoesindividual. Los modelos nos asignan a grupos que no podemos ver, cuyocomportamientoparecesemejarsealnuestro.Independientementedelacalidaddelosanálisis,suopacidadpuedeconduciralamanipulacióndelosprecios.

Pensemosenlossegurosdeautomóvil.En2015los investigadoresdelarevistade la asociación de consumidores Consumer Reports llevaron a cabo un amplioestudioaescalanacionalparalocalizardiscrepanciasenlafijacióndelosprecios.[198]Analizaronmásde2000millonesdepresupuestosdelasprincipalesaseguradorasaclientes hipotéticos en cada uno de los 33.419 códigos postales del país. Lo quedescubrieron fue terriblemente injusto y, comohemos visto en el capítulo anterior,teníasuorigenenlascalificacionescrediticias.

Las aseguradoras sacan estas calificaciones de los informes de solvenciacrediticiaydespuésutilizanalgoritmosdesarrolladosporellasmismasparacrearsuspropias calificaciones, las calificaciones electrónicas, que se utilizan como valoressustitutivos de una conducción responsable. Sin embargo, Consumer Reportsdescubrió que las calificaciones electrónicas, que incluyen todo tipo de datosdemográficos, amenudo cuentanmás que el historial del conductor al volante.Enotraspalabras,lamaneraenquegestionamosnuestrodineropuedeimportarmásquenuestra manera de conducir. En el estado de Nueva York, por ejemplo, que unconductor baje de «excelente» a simplemente «bueno» en su calificación crediticiapuedehacerqueelpreciodesuseguroaumente255dólares.YenFlorida,losadultosconhistoriales de conducción impecables y bajas calificaciones crediticias pagaronunamediade1552dólaresmásqueotrosconductoresenlamismazonaqueteníanunacalificacióncrediticiaexcelenteyunacondenaporconducirebrio.[199]

Yahemosexplicadoqueelhechodequelosdistintossectoreseconómicosbasencadavezmássusdecisionesenlascalificacionescrediticiasdelosconsumidoresestáperjudicando principalmente a los pobres. Aquí tenemos un ejemplo más de estatendencia, y es un ejemplo especialmente indignante porque el seguro de coche esobligatorio para todo el que quiera conducir. La diferencia aquí es que toda laatenciónsecentraenelvalorsustitutivo,cuandoenrealidadexistendatosmuchomásrelevantesdisponibles.Nopuedoimaginarningúnotrodatomássignificativoparalas

www.lectulandia.com-Página132

Page 133: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

aseguradorasquetenerantecedentesporconducirbajolosefectosdelalcohol.Eslapruebadelriesgoprecisamenteenelámbitoqueintentanpredecir.Esmuchomejorqueotrosvaloressustitutivosquesíconsideran,comolanotamediadelexpedienteen el instituto. Aun así, en su fórmula los antecedentes al volante cuentanmuchomenos que la calificación extraída de los datos financieros amontonados en uninformedesolvenciacrediticia(que,comohemosvisto,aveceseserróneo).

Entonces,¿porquésecentransusmodelosenlascalificacionescrediticias?Comootras ADM, los sistemas automáticos pueden revisar calificaciones crediticias conmuchaeficienciayaunaenormeescala,peroyodiríaquelarazónprincipalestámásrelacionadaconlosbeneficios.Siunaaseguradoratieneunsistemaconelquelesaca1552 dólares extras al año a un conductor con un historial intachable, ¿por quécambiarlo? Como ya hemos visto, las víctimas de esta ADM son probablementepobresytienenunbajoniveleducativo,muchasdeellassoninmigrantes.Esmenosprobablequesedencuentadequelasestánestafando.Yenlosbarriosenlosquehaymás oficinas de préstamos rápidos que corredurías de seguros resulta más difícildirigirse a otras aseguradoras para buscar precios más económicos. En pocaspalabras, aunque la calificación crediticia no tenga ninguna correlación con laconducción segura, sí crea un grupo rentable de conductores vulnerables. Paramuchosdeellosesimprescindiblepoderconducir—dependendeelloparallegaraltrabajo—.Ycobrarlesdemásesbuenoparalacuentaderesultados.

Desdeelpuntodevistadelaaseguradora,esunasituaciónenlaquetodosganan.Unbuenconductorconunmalcréditotieneunriesgobajoyunbeneficiomuyalto.Esmás,lacompañíapuedeusarpartedelosingresosdeesapólizaparacorregirlasineficiencias del modelo. Estas ineficiencias pueden incluir a los conductores coninmaculados informes de solvencia que pagan primas bajas y estrellan el cocheborrachos.

Todo esto puede sonar un poco cínico, pero pensemos en el algoritmo deoptimización de precios de Allstate, la aseguradora que se anuncia a sí mismainvitandoalosconsumidoresaponerse«ensusbuenasmanos».SegúnlaFederaciónEstadounidense de Consumidores (CFA, por sus siglas en inglés), Allstate analizadatosdemográficosydeconsumoparadeterminarlaprobabilidaddequelosclientesvayanabuscarenlacompetenciapreciosmáseconómicos.[200]Siespocoprobablequelohagan,tienesentidocobrarlesmás,YesoesjustoloquehaceAllstate.

Yesaúnpeor.EnunadenunciapresentadaporlaCFAantelaagenciaestataldevigilancia de las aseguradoras de Wisconsin, se especificaba que se habíanencontrado100,000microsegmentosenelplandepreciosdeAllstate.[201]Lasfranjasde precios se basaban en cuánto se puede esperar que pague cada grupo. Porconsiguiente, algunos reciben descuentos de hasta un 90 % en la tarifa media,mientrasqueotrosafrontanun incrementodel800%.«Elpreciode lossegurosdeAllstate se ha desvinculado de las reglas de las primas de riesgo y de la ley»,[202]afirma J. Robert Hunter, director de seguros de la CFA y antiguo miembro de la

www.lectulandia.com-Página133

Page 134: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

entidad reguladora del sector de los seguros de Texas.Allstate respondió diciendoquelosdatosdelaCFAeraninexactos.Noobstante,lacompañíasíqueadmitióque«lasconsideracionesdelmercado,deacuerdocon lasprácticasdel sector,han sidoapropiadasalahoradedeterminarlospreciosdelosseguros».[203]Enotraspalabras,que susmodelos estudianunamultitudde valores sustitutivos para calcular cuántocobraralosclientes,yqueelrestodelsectortambiénlohace.

La fijación de precios resultante es injusta. Este abuso no se produciría si losprecios de los seguros fueran transparentes y si los clientes pudieran comparar losproductos de distintas aseguradoras, pero, al igual que otras muchas ADM, estesistemadefijacióndepreciosesopaco.Cadapersonatieneunaexperienciadiferente,y losmodelos se optimizan para sacar lamayor cantidad de dinero posible de losdesesperados y los ignorantes. El resultado es que a los conductores que menospuedenpermitirsepagarprimasabusivasse lesexprimehastaelúltimocéntimo—otrobuclederetroalimentación—.Elmodeloseajustaparasacaraestesubgrupolamayorcantidaddedineroposible.Inevitablemente,algunosdeellosseretrasaránenlospagos,pornopoderafrontarelpagodelpréstamodelcoche,lastarjetasdecréditooelalquiler.Estocastigaráaúnmássuscalificacionescrediticias,loquesindudalosharácaerenunmicrosegmentoaúnmásdesesperado.

***

En lamismaépoca en laqueConsumerReportspublicó su informe incriminatoriocontra las aseguradoras de automóviles, también lanzó una campaña dirigida alorganismo regulador del sector de los seguros en Estados Unidos, la AsociaciónNacional de Comisionados de Seguros (NAIC, por sus siglas en inglés), quecombinabaconunacampañaenTwitter:@NAIC_Noticiasparaloscomisionadosdeseguros: Cóbrame en función de cómo conduzco, no por cómo piensas que soy.#Arreglarlossegurosdelosautomóviles.[204]

Laideasubyacentealacampañaeraquelosconductoresdebíanserjuzgadosporsushistoriales—elnúmerodemultasporexcesodevelocidadosihabíantenidoonoalgún accidente— y no por sus patrones de consumo, ni por los de sus amigos ovecinos.Y,sinembargo,en laeradelbigdata,pedirlesa lasaseguradorasquenosjuzguenporcómoconducimosesalgocompletamentenuevo.

Las compañías de seguros tienen hoy en día múltiples formas de estudiar elcomportamientode losconductoresde formadetallada.Parahacernosuna idea,notenemos más que echar un vistazo al sector del transporte de mercancías porcarretera.

Enlaactualidad,muchoscamionesllevandispositivoselectrónicosqueregistrancadagiro,cadaaceleraciónycadavezqueelconductorpisaelfreno.En2015,SwiftTransportation, la mayor empresa de transporte de mercancías por carretera de

www.lectulandia.com-Página134

Page 135: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Estados Unidos, comenzó a instalar en sus camiones cámaras apuntando en dosdirecciones:hacialacarreterayhacialacaradelconductor.[205]

Sehaanunciadoqueelobjetivodeestavigilanciaesreducirlosaccidentes.Cadaaño,unossetecientoscamionerosmuerenenlascarreterasestadounidenses.[206]Ysusaccidentessecobranlavidademuchasotraspersonasqueviajanenotrosvehículos.Ademásdelatragediapersonalqueestosupone,cuestamuchodinero.Elcostemediode un accidente mortal, según la Administración Federal de Seguridad de losTransportistas,esde3,5millonesdedólares.[207]

Noobstante,conunlaboratoriodeanálisistangrandealalcancedelamano,lasempresas de transporte no se limitarán a actuar en beneficio de la seguridad. Alcombinarelgeoposicionamiento,latecnologíadeseguimientoabordoylascámaras,loscamionerosenvíanunconstanteyricoflujodedatosconductuales.Adíadehoy,estasempresaspuedenanalizardiferentesrutas,evaluarlagestióndelcombustibleycompararlosresultadosadiferenteshorasdeldíaydelanoche.Puedencalcularlasvelocidadesóptimasparacada tipodefirme.Yusanestosdatosparadescubrirquépatronesproporcionanlosmayoresbeneficiosalmásbajocoste.[208]

También pueden comparar conductores individuales. Los registros analíticosasignanacadaconductorunatarjetaenlaqueseanotasupuntuación.Conunpardeclics,elgerentepuedeidentificaralosmejoresyalospeoresconductoresenfuncióndeunaampliagamadeparámetros.Naturalmente,losdatosdeseguimientotambiéncalculanelriesgodecadaconductor.

La promesa de ajustar los precios de los seguros al riesgo que se deriva de laconduccióndecadaconductornoestádeltodoolvidadaenelsectordelosseguros.Importantes aseguradoras comoProgressive,StateFarmoTravelers[209] ya ofrecenunareduccióndelastarifasquepaganlosconductoresaseguradosconellossidansuconsentimiento para compartir sus datos de conducción. Una pequeña unidadtelemétrica, una versión simplificada de las cajas negras de los aviones, registra lavelocidadycómoaceleraofrenaelconductor,mientrasqueelmonitorGPShaceunseguimientodelosdesplazamientosdelcoche.

Esto,en teoría,cumpleel idealquedefiende lacampañadeConsumerReports.La atención se centra en el conductor individual, Pensemos en los jóvenes dedieciochoaños.Tradicionalmente siemprehanpagadopreciosastronómicosporquesugrupodeedad,desdeelpuntodevistaestadístico,esmástemerariodelacuenta.Sinembargo,enlaactualidad,unjovendeúltimocursodeinstitutoquenoarranqueconacelerones,queconduzcaaunritmoconstantepordebajodellímitedevelocidadyquesedetengaconsuavidadantelossemáforospodríaconseguirundescuentoenel costedel seguro.Las compañíasde seguroshanofrecidocondicionesventajosasdesde hace mucho tiempo a los conductores jóvenes que se apuntan a clases deconducciónyseguridadvialenelinstitutooalosquesacanmatrículadehonor.Setrata de valores sustitutivos para la conducción responsable, Pero lo que realmentecuentasonlosdatosrealesdelaconducción,¿noesasí?

www.lectulandia.com-Página135

Page 136: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

En realidad, nos encontramos ante un par de problemas. Primero, si el sistemaconsidera el riesgo en función de la situación geográfica, los conductores pobressaldrán perdiendo, pues es más probable que conduzcan en zonas que lasaseguradorasconsideranbarriosderiesgo.Muchosdeellostambiénsedesplazanaltrabajoentrayectoslargoseirregulares,loquesetraduceenunriesgomásalto.

Está bien, podríamos decir, Si los barrios pobres suponen un mayor riesgo,especialmente en cuanto al robo de vehículos, ¿por qué las compañías de segurosdeberían ignorar esta información?Y si los desplazamientosmás largos al trabajoincrementanlaposibilidaddesufrirunaccidente, lasaseguradoras tienenderechoatenerloencuenta.Ladecisiónsiguebasándoseenelcomportamientodelconductor,no en detalles superficiales como su calificación crediticia o el historial deconducción de otras personas de su misma edad. Muchos considerarían esto unamejora.

Yhastaciertopunto,loes.Noobstante,imaginemosaunahipotéticaconductoraqueviveenunazonapocofavorecidadeNewark(NuevaJersey)yquetienequeirtodos los días a trabajar a un Starbucks en el acomodado barrio residencial deMontclair,aveintiúnkilómetrosdesucasa.Suhorarioescaóticoyamenudoletocacerrara lasoncede lanoche,volverconduciendoaNewarkyestardevueltaeneltrabajo antes de las cincode lamañana.Para ahorrarse diezminutos y el peaje de1,50dólaresencadasentidodelaautopistaGardenStateParkway,tomaunatajoquelallevaporunacarreterarodeadadebaresylocalesdestriptease.

Unaaseguradoraqueentiendadedatossabráqueloscochesquesiganesarutaaaltashorasdelamadrugadacorreránunmayorriesgodeaccidente.Haymásdeunborracho en la carretera. Hay que admitir que nuestra barista está aumentando unpocoelriesgoalcogereseatajoyconducirporLamismacarreteraquelagentequeacabadesalirdelosbares.Alguienpodríadarleungolpe,Sinembargo,eldispositivoderastreoGPSdelaaseguradoranosolopiensaquelabaristaseestámezclandoconborrachos,sinoposiblementequeellatambiénhabrábebido.

En este sentido, incluso los modelos que monitorizan nuestro comportamientopersonalobtienenmucha informacióndetalladay evalúanel riesgocomparándonosconotraspersonas.Enestaocasión,envezdeponerenelmismosacoatodoslosquehablanárabeourdu,vivenenelmismocódigopostalogananelmismosueldo,nosagrupanporactuardeformasimilarLapredicciónsebasaenlaideadequeaquellosque actúan demanera parecida correrán niveles de riesgo similares. Por si no noshabíamos dado cuenta, estamos de nuevo ante el dicho «Dios los cría y ellos sejuntan»,conelmismoniveldeinjusticia.

Cuandosaleeltemadeestascajasnegrasenloscoches,lamayoríadelagentenose opone tanto a este tipo de análisis como a la vigilancia en sí.Me dicen que nosucumbirán a la monitorización. No quieren ser rastreados, ni que se venda suinformaciónaanunciantesoseentreguealaAgenciadeSeguridadNacional(NSA,

www.lectulandia.com-Página136

Page 137: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

porsussiglaseninglés).Puedequealgunasdeestaspersonaslogrenresistirseaestavigilancia,pero,coneltiempo,laprivacidadtendráunprecio.

No estamos más que en los inicios de los sistemas de monitorización de lasaseguradoras de automóviles y, por ahora, aún son opcionales. Solo aquellos quedeseenserrastreadosactivansuscajasnegras.Selesrecompensaconundescuentode entre el 5 % y el 50 % y la promesa de más en el futuro (y los demássubvencionaremosestosdescuentoscontarifasmásaltas).[210]Noobstante,amedidaquelasaseguradorasobtenganmásinformación,seráncapacesdecrearprediccionesmáspotentes.Asíes lanaturalezade laeconomíadelosdatos.Aquellosquesepanexprimirlosmejoresanálisisdeestainformaciónyconvertirlaenbeneficios,saldrántriunfantes.Podránpredecirelriesgodecadagrupoconmayorexactitud(aunquelaspersonas individuales siempre los confundirán).Y cuantomás se beneficien de losdatos,máspresiónejerceránparaconseguirmás.

Seguramentellegaráunmomentoenelquelamonitorizaciónserálanorma,ylosconsumidoresquequieranarreglárselasconsuseguroalaviejausanza,sindarmásde loesenciala lasaseguradoras, tendránquepagarunrecargo,queprobablementeno será barato. En el mundo de las ADM, la privacidad se irá convirtiendoprogresivamenteenunlujoquesololosricossepodránpermitir.

Al mismo tiempo, la vigilancia va a cambiar la naturaleza de los seguros.Tradicionalmenteha sidoun sectorqueha recurridoa lamayoríade la comunidadparacubrirlasnecesidadesdeunaminoríadesafortunada.Enlospueblosenlosquevivíamos hace siglos, las familias, los grupos religiosos o los vecinos se ayudabanentre ellos en caso de incendio, accidentes o enfermedad. En la economía demercado,subcontratamosestoscuidadosalascompañíasdeseguros,quesequedanunapartedeldinerobajoelnombredebeneficio.

Amedidaquelasaseguradorassepanmássobrenosotros,máscapacesserándeidentificaralosqueparezcanserlosclientesdemayorriesgoyasíinflarsustarifashastalaestratosferaobien,siemprequelaleyselopermita,denegarleslacobertura.Esto no tiene nada que ver con el propósito original de los seguros, que era el deayudaralasociedadacompensarsusriesgos.Enelmundodelasegmentación,yanopagamoselpreciomedio,sinoquecargamosconloscostesdeformaanticipada.Enlugardeamortiguarlosgolpesdelavida,lascompañíasdesegurospediránquelespaguemosesosgolpesporadelantado.Estosubvierteelpropósitode losseguros,yquienesresultaránmásperjudicadosseránaquellosquemenospuedanpermitírselo.

***

Lascompañíasaseguradorasnosclasificaránennuevostiposdetribusamedidaquevayanexaminandolospatronesdenuestrasvidasydenuestroscuerpos.Sinembargo,estastribusnosebasaránenlosparámetrostradicionales,comolaedad,elsexo,el

www.lectulandia.com-Página137

Page 138: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

patrimonio o el código postal, sino que serán tribus conductuales, generadasprácticamenteensutotalidadpormáquinas.

Paravercómoesasclasificacionessepropagarán,veamoselcasodelaempresade datos neoyorquina Sense Networks.[211] Hace una década, sus investigadorescomenzaron a analizar a dónde iba la gente a través de los datos de sus teléfonosmóviles. Estos datos, facilitados por las compañías telefónicas europeas yestadounidenses, eran anónimos: eran puntos moviéndose en un mapa (aunqueevidentementenoharíafaltaserundetectiveparaasociarcadaunodeesospuntitosconladirecciónalaquevolvíatodaslasnoches,peroaSensenoleinteresabanlaspersonasindividuales,sinolastribus).

Los investigadores enviaron estos datos sobre usuarios de teléfonosmóviles deNueva York a un sistema de aprendizaje automático al que dieron escasasinstrucciones. No le dijeron al programa que aislara a los habitantes de las zonasresidencialesnialosmillennials,niquecrearadistintosgruposdecompradores.Elsoftwareencontraríalassemejanzasporsímismo.Muchasdeellasseríaninútiles—personasquepasanmásdel50%desusdíasencallesqueempiezanporlaletraj,opersonasquepasancasitodoeltiempodelacomidaenlacalle—.Noobstante,sielsistemaanalizaramillonesdeestospuntosdedatos,empezaríanaaparecerpatronesycorrelaciones, y teóricamente muchas serían correlaciones que los humanos nuncahabríamosconsiderado.

AmedidaquepasabanlosdíasyelordenadordeSensedigeríasuinmensotesorodedatos,lospuntoscomenzaronacambiardecolor.Algunossepusieronrojos,otrosamarillos,azulesoverdes.Empezabanaaparecerlastribus.

Pero ¿qué representaban esas tribus? Solo la máquina lo sabía, y no iba acontarlo, «No es seguro que podamos reconocer lo que esas personas tienen encomún—dijoelcofundadoryantiguodirectorejecutivodeSense,GregSkibiski—.No encajan en las categorías que elaboramos tradicionalmente».[212] El equipo deSensepodíaseguirlosmovimientosdelospuntosporNuevaYorkamedidaqueestosadquiríansuscolores.Dedía,ciertosbarriosestabandominadosporelazulyalfinaldetardeseponíanrojos,salpicadosconunpocodeamarillo.GregSkibiskirecordabaunatribuqueparecíafrecuentarciertolugartardeporlanoche.¿Eraunadiscoteca?¿Unfumaderodecrack?Cuando losdeSensebuscaron ladirección,vieronquesetratabadeunhospital.Parecíaquelaspersonasdeesatribusufríanaccidentesocaíanenfermasconmás frecuenciaque losdemás.O talvezeranmédicos, enfermerosytrabajadoresdelosserviciosdeemergencia.

YP,unaempresadepublicidadmóvilfilialdeAT&T,adquirióSenseen2014,loquesignificaque,porelmomento, susclasificaciones seránusadaspara segmentardistintastribuscomodestinatariosdepublicidad.[213]Sinembargo,podemosimaginarfácilmente que los sistemas de aprendizaje automático a los que se suministrendistintos flujos de datos conductuales pronto nos clasificarán no solo en una tribu,sinoencientosdeellas,milesincluso.Algunastribusestarándefinidasporpersonas

www.lectulandia.com-Página138

Page 139: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

quereaccionananteanunciossimilares.Otraspuedencoincidirenpolítica,opuedeque vayan a la cárcel con más frecuencia. A otros podría encantarles la comidarápida.

Loqueintentodeciresque,enlospróximosaños,enormescantidadesdedatosconductuales irán directos a sistemas de inteligencia artificial que, a nuestros ojos,seguirán siendo cajas negras. En este proceso, raras veces sabremos a qué tribus«pertenecemos»niporqué.Enlaeradelasmáquinasinteligentes,lamayoríadeLasvariablesseránunmisterio.Muchasdeesastribuscambiaráncadahora,inclusocadaminuto,amedidaquelossistemasnostrasladendeungrupoaotro.Alfinyalcabo,unapersonasecomportademaneramuydiferentea lasochode lamañanaya lasochodelatarde.

Estos programas automáticos determinarán cada vez más cómo nos tratarán elrestodemáquinas:lasqueescogenlosanunciosquevemos,decidenlospreciosquedebemos pagar, nos ponen en la lista de espera del dermatólogo o confeccionannuestras rutas. Serán muy eficientes, aparentemente arbitrarias y no daránexplicacionesdeningúntipo.Nadiepodráentendersulógicaniexplicarla.

Si no establecemos unamedida de control, las ADM del futuro nos pareceránmisteriosasypoderosas.Haránloquequieranconnosotrosynisiquieranosdaremoscuentadeello.

En 1943, durante el punto álgido de la Segunda GuerraMundial, cuando tanto elEjército como la industria estadounidenses necesitaban hasta el último de lossoldados y los trabajadores que pudieran encontrar, la agencia tributariaestadounidense(IRS,porsussiglaseninglés)modificólanormativafiscalparaquelos seguros de salud de los trabajadores que cubrieran los empleadores quedaranexentos del pago de impuestos.[214] Esta modificación no parecía en absolutorelevante,desdeluegonadaquepudiesecompetirconlostitularessobrelarendiciónde los alemanes en Stalingrado o los desembarcos aliados en Sicilia. En aquelmomento,aproximadamentesoloel9%delostrabajadoresestadounidensescontabaconunseguromédicocontratadoporlaempresa.[215]Graciasaestanuevaexenciónfiscal,lasempresassedecidieronaofrecerestetipodesegurosconelfindeatraeralos escasos trabajadores disponibles. Al cabo de diez años, el 65 % de losestadounidenses tenía cobertura médica gracias a los seguros contratados por susempresas.[216]Lasempresasyaejercíanungrancontrolsobrenuestrasfinanzas,yentan solo una década se hicieron también con el control sobre nuestros cuerpos, loquisieranono.

Loscostesde laasistencia sanitaria sehanmultiplicadoenormemente setentaycinco años después, y hoy en día consumen tres billones de dólares al año.[217]Aproximadamenteunodecadacincodólaresqueganamosalimentaelenormesectordelaasistenciasanitaria.[218]

www.lectulandia.com-Página139

Page 140: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Las empresas, que durante mucho tiempo han estado negociando con lostrabajadores hasta el último centavo para abaratar costes, disponen ahora de unanuevatácticaparacombatirelaumentodeloscostes.Lollaman«saludybienestar»(wellness en inglés) y supone una vigilancia cada vez mayor que incluye larecopilación de multitud de datos provenientes del Internet de las Cosas —laspulserasFitbit, losrelojesdeAppleyotrossensoresque transmitenactualizacionessobrecómofuncionannuestroscuerpos—.

Esta idea,comohemoscomprobadomuchasveces,nacedebuenas intenciones.De hecho, está promovida por el Gobierno. La Ley sobre la Atención SanitariaAsequible,tambiénconocidacomoObamacare,invitaalasempresasainscribirasustrabajadoresenprogramasdesaludybienestareinclusoa«incentivar»lasalud.[219]Por ley, las empresas pueden ahora ofrecer recompensas y aplicar sanciones quepueden llegar hasta el 50% del coste de la cobertura.[220] Según un estudio de lacorporaciónRand,másdelamitaddelasempresasconcincuentatrabajadoresomástienen este tipo de programas ya operativos, y muchas más se apuntan a estatendenciatodaslassemanas.[221]

Hayjustificacionesdesobraparalosprogramasdesaludybienestar.Sifuncionan—y, como veremos, estamos ante un importante «si» condicional—, los grandesbeneficiados serán los trabajadores y sus familias. No obstante, si gracias a estosprogramas los trabajadores consiguen evitar desarrollar enfermedadescardiovasculares o diabetes, también ganan las empresas. Cuantasmenos visitas aurgenciashaganlosempleadosdeunaempresa,menosriesgosasociarálacompañíadesegurosalconjuntode trabajadoresdedichaempresa,con loque lasprimasdelseguro serán más bajas. Por tanto, si sencillamente pasamos por alto lasintromisiones, los programas de salud y bienestar pueden parecemos medidasbeneficiosasparatodaslaspartesimplicadas.

El problema es que no podemos ignorar esas intromisiones, ni hacer quedesaparezcansolocondesearlo.Nipodemos ignorar lacoacción.TomemoselcasodeAaronAbrams, profesor deMatemáticas en laUniversidad deWashington andLeedeVirginia.TienesusegurodesaludconAnthemInsurance,quecuentaconunprogramadesaludybienestar.[222]Paracumplir los requisitosdelprograma,Aarontiene que acumular 3250 «puntos de salud». Obtiene un punto por cada «registrodiario»y1000másporhacerseunchequeoanualconelmédicoysisesometeauncribado que se realiza en el campus. También consigue puntos por rellenar una«encuesta de salud» en la que se asigna a sí mismo metas mensuales que, deconseguirlas, le otorgarán aún más puntos. Si Aaron decide no participar en elprograma,deberápagarunrecargode50dólaresmensualesenlaprima.

A Aaron lo contrataron para enseñar matemáticas y ahora, como tantos otrosmillones de estadounidenses, parte de su trabajo consiste en seguir un montón dedictadosdesaludycompartiresosdatosnosoloconsuempleador,sinotambiénconunatercerapartequegestionaelprograma.Estolemolestayprevéquelauniversidad

www.lectulandia.com-Página140

Page 141: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

ampliará la vigilancia: «Da escalofríos pensar que alguien reconstruya mismovimientos diarios basándose en la “automonitorización” que yomismo haga demisdesplazamientos».

Mi miedo va más allá. Una vez que las empresas hayan acumulado ingentescantidades de datos sobre la salud de sus empleados, ¿qué les impedirá elaborarcalificacionesdesaludyusarlasparafiltraraloscandidatosaunpuestodetrabajo?Muchosdelosdatossustitutivosquereunirán,yaseanlospasosdadosenundíaolospatrones de sueño, no están protegidos por la ley, por lo que en teoría seríaperfectamentelegalutilizarlos.Ytendríasentido.Comoyahemosvisto,lasempresasrechazantodoslosdíascandidatosbasándoseensuscalificacionescrediticiasyenlostest de personalidad. Las calificaciones de salud representan el siguiente —yaterrador—paso.

Lasempresasyaestánimponiendoambiciososnivelesdesaludasustrabajadoresy penalizándolos si no los alcanzan. Michelin, la empresa de neumáticos, fija lasmetas que deben alcanzar sus empleados en parámetros que van desde la presiónsanguíneahastalaglucosa,pasandoporelcolesterol,lostriglicéridosyeltamañodela cintura.[223] Aquellos que no alcancen los objetivos en al menos tres de lascategoríasdeberánpagarunrecargoanualde1000dólaresasuseguro.En2013,lacadena de farmacias CVS, con presencia en todo Estados Unidos, anunció quecomenzaríaapedirasusempleadosuninformesobresusnivelesdegrasacorporal,azúcarensangre,presiónsanguíneaycolesterol,yelquenoestádispuestoahacerlotendráquepagar600dólaresalaño.[224]

Lamedida que tomóCVS con sus empleados suscitó esta airada respuesta porparte de Alissa Fleck, columnista de Bitch Media: «Atención, todo el mundo,atención. Si alguno de vosotros lleva años intentando ponerse en forma, puedeabandonar ahoramismo todo lo que haya probado hasta elmomento, porqueCVStiene la solución.Resultaqueencualquierade lasdietasquehayamos intentado laclave que faltaba era contar con el incentivo adecuado. Aunque en realidad eserégimen ya existe y se llama autohumillación y vergüenza de estar gordo. Es unrégimen que te da a elegir entre dos opciones: que alguien te diga que tienessobrepesoopagarunabuenamulta».[225]

Enelcentrodelproblemadelpesoencontramosunaestadísticamuycuestionada:elíndicedemasacorporal(IMC).Esteíndicesebasaenunafórmulaconcebidahacedossiglosporunmatemáticobelga,LambertAdolpheJacquesQuetelet,quenosabíacasinadadesaludymuchomenosdelcuerpohumano.[226]Queteletsolobuscabaunafórmulasencillaparaestimarlosíndicesdeobesidaddegrandespoblacionesy,paradesarrollarla,sebasóenloquellamó«elhombremedio».

«Es un concepto muy útil —escribe Keith Devlin, matemático y autor deliteraturacientífica—,perosi intentamosaplicarloaunaúnicapersona, llegamosalabsurdodedecirqueunapersonatiene2,4hijos.[227]Lasmediasmidenpoblacionesenterasyamenudonosepuedenaplicaralaspersonasindividuales».KeithDevlin

www.lectulandia.com-Página141

Page 142: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

añadequeelIMC,consuspuntuacionesnuméricas,revistedeautoridadcientíficaloquenoesmásqueun«remediochinomatemático».

El IMCseobtienedividendoelpesoenkilosdeunapersonaentresualturaencentímetros.Esunvalor sustitutivonuméricomuy toscodel estadode salud física.Aplicándolo, esmásprobable llegara laconclusióndeque lasmujerespadecemossobrepeso(alfinyalcabo,nosomosun«hombremedio»).Esmás,dadoquelagrasapesamenosqueelmúsculo,losatletasmuymusculadossuelentenerelIMCporlasnubes. En el universo del IMC, el jugador de la NBA LeBron James padecesobrepeso.Cuandoseestablecenrecompensasycastigoseconómicosenrelaciónconel IMC, se penaliza a enormes grupos de trabajadores por el tipo de cuerpo quetienen.Y esto afecta especialmente a lasmujeres negras, quienes amenudo tieneníndicesmásaltos.

Pero¿noesalgobuenoayudaralagenteamejorarsusproblemasdepesoyotrosproblemas de salud?, preguntarán los defensores de los programas de salud ybienestar.Lacuestiónclaveaquíessiestaayudaesunaofertaounaexigencia.Silasempresasofrecieranprogramasdesaludybienestarvoluntarios,muypocostendríanrazonesparaoponerseaellos(yesciertoquelostrabajadoresquedecidenapuntarsea dichos programas mejoran su salud, aunque es posible que también lo hubieranhechoaunquenosehubieranapuntadoaesosprogramas).Noobstante,asociarunaestadísticaerróneacomoelIMCaunarecompensaypersuadiralostrabajadoresparamoldearsuscuerpossegúnelidealdeunaempresavaencontradelalibertad.Ydaalasempresasunaexcusaparacastigaralagentealaquenoquierever—ydecaminotambiénparasacarlesdinero—.

Ytodoestosehaceennombredelasalud,Mientrastanto,elsectordelasaludyelbienestar (valoradoen6000millonesdedólares)proclamasuséxitosadiestroysiniestro —y con frecuencia sin presentar ninguna prueba—,[228] «Estos son loshechos —escribía Joshua Love, presidente de Kinema Fitness, una empresacorporativade saludybienestar—: laspersonasqueestánmás sanas trabajanmás,sonmásfelices,ayudanalosdemásysonmáseficientes.Lostrabajadoresconmalasalud suelen estar inactivos y sentirse agotados e infelices, porque su forma detrabajaresunsíntomadesuestilodevida».[229]

Naturalmente, Joshua Love no citaba ninguna fuente que respaldase estasaseveraciones, e incluso, de ser ciertas, existe muy poca evidencia de que losprogramasdesaludybienestarobligatoriosconsiganrealmentemejorar lasaluddelostrabajadores.UninformedelgrupodeinvestigacióndelProgramadeRevisióndelas Coberturas de Salud de California llegó a la conclusión de que los programascorporativosdesaludybienestarnoconsiguenreducirlatensiónsanguíneamedia,elazúcarensangrenielcolesteroldequienesparticipanenellos.[230] Inclusocuandolos participantes logran perder peso en alguno de estos programas, tienden arecuperarlofácilmente(laúnicaáreaenlaqueestosprogramasmuestranresultadospositivossonlosprogramasparadejardefumar).

www.lectulandia.com-Página142

Page 143: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

También resulta que, a pesar de sus tan publicitados éxitos individuales, estosprogramas de salud y bienestar no suelen conseguir reducir el gasto en asistenciasanitaria.Unestudiode2013dirigidopor JillHorwitz,profesoradeDerechoen laUniversidad de California en Los Ángeles (UCLA), desmantela los fundamentoseconómicos del movimiento.[231] Según sus conclusiones, los estudios aleatorios«plantean dudas» sobre si los trabajadores obesos o fumadores cargan realmentefacturas médicas más altas que otros. Aunque es cierto que es más probable quesufran problemas de salud, estos suelen llegar en etapas más tardías de la vida,cuando ya están fuera de los planes corporativos de salud y han pasado a estarcubiertos por Medicare, el programa de salud para personas mayores conenfermedades graves. De hecho, el mayor ahorro obtenido por los programas debienestarprovieneenrealidaddelassancionesaplicadasalostrabajadores.Enotraspalabras,igualquelosalgoritmosqueseutilizanparadefinirloshorariosdetrabajo,estos programas ofrecen a las empresas una herramienta más para saquear lasnóminasdesusempleados.

Apesardelosproblemasqueveoenlosprogramasdesaludybienestar,(aún)nocumplentodoslosrequisitosparaserconsideradosunADMentodaregla.Esciertoque están muy extendidos, se cuelan en la vida de millones de empleados y lesinfligenperjuicioseconómicos.Peronosonopacosy,salvoporelengañosoIMC,nosebasanenalgoritmosmatemáticos.Setratadeunsencilloymuydifundidocasoderobo de salarios, aunque muy bien envuelto en las florituras de la retórica de losaludable.

Los empleadores ya se están dando un festín con nuestros datos.Como hemosvisto,estánaprovechándolosparaclasificarnoscomopotencialesempleadosycomotrabajadores. Tratan de hacer un esquema de nuestros pensamientos y de nuestrasamistades, e intentan predecir nuestra productividad. Y dado que están muyrelacionadosconlosseguros,puestoquelaasistenciasanitariadelostrabajadoresesunodesusprincipalesgastos,eslógicoquehayanampliadolavigilanciaaunamayorescala para cubrir la salud de los trabajadores. Y si las empresas elaboraran suspropiosmodelosdesaludydeproductividad,estopodríaacabarsiendounADMdeplenoderecho.

www.lectulandia.com-Página143

Page 144: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

A

10CiudadanosegmentadoDerechoscivilesypolíticos

estasalturas,creoqueresultayamásqueevidentequemeescandalizantodoslos tipos de ADM. Pues imaginemos que decido lanzar una campaña para

presionarafavordeunanormativamásestrictaquelasreguleypublicounapeticiónenmipáginadeFacebook.¿Cuálesdemisamigoslaveríanensusmuros?

Notengoniidea.Enelmomentoenqueledoyaenviar,lapeticiónperteneceaFacebook y el algoritmo de la red social decidirá cómo usarla, calculando lasprobabilidadesquetienedeseratractivaparacadaunodemisamigos.Facebooksabequealgunosdeellosfirmanpeticionesamenudoyquelascompartenconsusamigosen sus propias redes. Otros suelen pasar de largo por la pantalla. Por otro lado,algunosdemisamigosmeprestanmásatenciónqueotrosysuelenhacerclicenlosartículos que publico. El algoritmo de Facebook decide quién verá mi peticiónteniendoencuentatodoesto.Amuchosdemisamigoslesaparecerátanabajoensusmurosquenuncallegaránaverlo.

Esto es lo que pasa cuando la poderosísima red que compartimos con 1500millonesdeusuariosesalmismotiempounasociedadquecotizaenbolsa.AunqueFacebookpuedaparecerunamodernaplazadelpueblo,laempresadecide,conformea sus propios intereses, qué vemos y qué descubrimos en su red social. En elmomentoenqueescriboesto,aproximadamentedosterciosdelapoblaciónadultadeEstadosUnidos tienenunperfil enFacebook.[232]Pasan treintaynueveminutos aldíaen lapágina, solocuatrominutosmenosque losquededicana la socializacióncaraacara.[233]Casilamitaddeellos,segúnuninformedellaboratoriodeideasPewResearch Center, confía en Facebook para que transmita al menos algunas de lascosas que quieren contarles a sus amigos, lo que nos lleva a preguntarnos: siFacebookalteraraelalgoritmoymodificaralasnoticiasquevemos,¿podríallegaramanipularelsistemapolítico?[234]

La empresa ha estado estudiando esta cuestión con sus propios investigadores.Durantelaseleccionesde2010y2012enEstadosUnidos,Facebookllevóacabounaseriedeexperimentosparaperfeccionarunaherramientaalaquellamó«elmegáfonodelvotante»,[235]La idea era animar a lagente aquepublicara en la red social unmensaje anunciando que ya habían votado. La idea parecía bastante razonable. Alsalpicar el muro de los usuarios con mensajes diciendo: «He votado», Facebookalentabaa losestadounidenses—amásde61millonesdepersonas—acumplir sudeber como ciudadanos y a hacer oír sus voces. Es más, al publicar mensajesdiciendo que la gente había votado, la página ejercía presión de grupo sobre los

www.lectulandia.com-Página144

Page 145: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

demás usuarios para que votaran. Algunos estudios han demostrado que lasatisfacción íntimadecumplirconundeberciudadanomovilizamuchomenosa lagentequeelposiblejuiciodesusamigosovecinos.[236]

Almismotiempo,losinvestigadoresdeFacebookestudiaroncómolosdiferentestipos de publicaciones influían en el comportamiento electoral de la gente. Nadiehabíainvestigadojamásenunlaboratoriohumanoatalescala.Encuestióndehoras,Facebook podía recopilar información sobre decenas de millones de personas ycalcular el impacto que sus palabras y los enlaces que compartían tenían los unossobrelosotros.Y,además,podíausareseconocimientoparainfluirenlasaccionesdelaspersonas,loque,enestecaso,eraconseguirquefueranavotar.

Estamoshablandodeunacantidaddepoderrealmentesignificativa,yFacebooknoeslaúnicaempresaqueostentatantopoder,OtrasempresasquecotizanenbolsacomoGoogle,Apple,Microsoft,Amazony compañías telefónicas comoVerizonyAT&Tposeenunaingentecantidaddeinformaciónsobregranpartedelahumanidad(ydisponendelosmediosnecesariosparallevarnosporelcaminoquedeseen).

Comoyahemosvisto,normalmentesecentranengeneraringresos.Sinembargo,sus beneficios están estrechamente ligados a las políticas gubernamentales. ElGobiernolosregulaodejadehacerlo,apruebaobloqueasusfusionesyadquisicionesy define las políticas fiscales (a menudo haciendo la vista gorda a los miles demillonesdedólaresdepositadosenparaísosfiscales).Estaeslarazónporlaquelasempresas de tecnología, al igual que el resto de las grandes empresasestadounidenses, inundan Washington con grupos de presión e inyectansilenciosamentecientosdemillonesdedólarescomodonacionesalsistemapolítico.[237]Ahora,además,estánconsiguiendolosmediosnecesariosparamoldearnuestrocomportamientopolítico—y,conél,laconfiguracióndelGobiernoestadounidense—yparahacerlonotienenmásqueajustarsusalgoritmos.

LacampañadeFacebookcomenzóconunobjetivoconstructivoyaparentementeinocente: animar a la gente a ir a votar,Y lo consiguió.Al comparar las cifras departicipacióndeeleccionesanteriores,losinvestigadorescalcularonquesucampañahabíaincrementadoelnúmerodevotantesen340.000personas.[238]Esunacantidadde gente lo suficientemente grande como para cambiar el resultado electoral enestadosenteros,e inclusoenlaseleccionesnacionales.Alfinyalcabo,GeorgeW.Bushganóenelaño2000porunadiferenciade537votosenFlorida.[239]EstáclaroquelaactividaddeunúnicoalgoritmodeFacebookeldíadelaseleccionespodríanosolo cambiar el equilibrio del Congreso, sino también decidir quién ocuparía lapresidencia.

LafuerzadeFacebooknosolosedebeasualcance,sinotambiénasuhabilidadparahacerquesuspropiosclientesinfluyanensusamigos.Lagranmayoríadelos61millonesdepersonasincluidasenelexperimentorecibieronensusmurosunmensajequelasanimabaairavotar.

www.lectulandia.com-Página145

Page 146: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

En el mensaje había un montaje de fotografías de seis amigos del usuario deFacebookquehabíanhechoclicenelbotónde«Hevotado»seleccionadosalazar.Losinvestigadorestambiénestudiaronotrosdosgruposdecontrol,ambosdeentornoa600.000personas.Ungrupovio lacampañadel«Hevotado»sin lasfotosdesusamigosyelotronorecibiónadadenada.

Al esparcir sus mensajes por la red, Facebook estudiaba el impacto delcomportamientodelosamigosdelusuariosobredichousuario.¿Fomentaríalagenteel voto entre sus amigos? ¿Afectaría esto a su comportamiento? Según lasestimacionesdelosinvestigadores,verquesusamigosparticipabanenlaseleccioneslocambiabatodo.Lagenteprestabamuchamásatencióncuandolaspublicacionesde«He votado» provenían de sus amigos y era más probable que compartieran esosposts. Aproximadamente el 20% de gente que vio que sus amigos habían votadotambiénhizoclicenelbotónde«Hevotado».Entrelosquenorecibieronelbotóndesusamigos,soloel18%hizoclicenél.Nosepuedeafirmarconseguridadquetodalagentequehizoclicenelbotónde«Hevotado»fueraavotar,niqueaquellosquenolohicieronsequedaranencasa.Aunasí,con61millonesdevotantespotencialesensured,unaposiblediferenciadedospuntospuedetenerenormesconsecuencias.

Dos años después, Facebook fue un poco más lejos. Durante los tres mesespreviosalaseleccionespresidencialesentreelpresidenteObamayMittRomney,uninvestigadordelacompañía,SolomonMessing,alteróelalgoritmodeactualizacióndelmurodeunosdosmillonesdepersonas,todasellascomprometidaspolíticamente.[240]A estas personas se lesmostró una proporciónmás alta de noticias serias, enlugardelostípicosvídeosdegatitos,invitacionesagraduacionesofotosenDisneyWorld.Sisusamigoscompartíanunanoticia,estaaparecíaenlapartesuperiordelapágina.

Messingqueríaversielhechoderecibirmásnoticiasdelosamigosmodificaríaelcomportamientopolíticodelagente.Despuésdelaselecciones,Messingenviósusencuestas. Los resultados facilitados por los propios encuestados indicaban que laparticipación de los votantes de este grupo había subido ligeramente del 64% al67 %. «Cuando son tus amigos los que te entregan el periódico pasan cosasinteresantes», afirmabaLadaAdamic, científica social computacionaldeFacebook,[241] Evidentemente, no eran realmente sus amigos los que les entregaban elperiódico, sino el propio Facebook. Podríamos argumentar que los periódicos hanejercido un poder similar durante muchísimo tiempo. Los editores escogen lasnoticiasdeportadaydecidencómocaracterizarlas,eligenpresentara lospalestinosbombardeadosoalosisraelíesdeluto,aunpolicíarescatandoaunbebéocargandocontraunmanifestante.Sindudaestasdecisionespuedeninfluir tantoenlaopiniónpúblicacomoenlaselecciones.Ylomismoocurreconlasnoticiasdelatelevisión.Sinembargo,cuandoelNewYorkTimesolaCNNcubrenunahistoria,todoelmundolove.Sudecisióneditorialestáclara,quedaregistrada.Noesopaca.Ydespués, la

www.lectulandia.com-Página146

Page 147: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

gentepuededebatir(amenudoenFacebook)siesadecisióneditorialhasidoonolacorrecta.

Facebook es más como el Mago de Oz: no vemos a los seres humanosimplicados. Cuando visitamos la página, nos desplazamos a través de laspublicaciones de nuestros amigos. La máquina parece no ser más que unintermediario neutro. Mucha gente sigue pensando que es así. En 2013, unainvestigadora de laUniversidad de Illinois llamadaKarrieKarahalios llevó a cabouna encuesta sobre el algoritmo de Facebook, y descubrió que el 62 % de losencuestadosnoeraconscientedequelacompañíaintervieneenloqueapareceenelmuro.[242]Pensabanqueelsistemacompartíainmediatamentetodoloquepublicabancontodossusamigos.

ElpotencialdeFacebookparacontrolarlapolíticavamásalládecómocolocalasnoticiasodesuscampañasparapromocionar laparticipaciónen laselecciones.En2012unosinvestigadoresexperimentaroncon680.000usuariosdeFacebookparaversi laspublicacionesqueaparecíanen susmurospodíanalterar suestadodeánimo.[243]Porexperimentosanterioresyasesabíaqueelestadodeánimoescontagioso.Siestamoscercadeunapersonagruñona,esprobablequenospongamosdemalhumor,almenosduranteunrato.Pero¿podríaestecontagiopropagarseenlínea?

Facebook clasificó las publicaciones entre positivas (¡mola!) y negativas(¡terrible!) con la ayuda de un software lingüístico. Acto seguido, se redujo elvolumende laspublicacionesdeprimentes en lamitadde losmurosyel contenidoalegre en la otra mitad. Cuando investigaron el posterior comportamiento de losusuarios en sus propias publicaciones, encontraron pruebas de que, en efecto, losmuros modificados habían alterado su estado de ánimo. Los que habían recibidomenospostsalegreshicieronmáspublicacionesnegativasyenelgrupoexpuestoamensajespositivosaparecióunpatrónoptimista.

Conclusión:«Losestadosemocionalespuedentransferirseaotraspersonas[…],ylasconducenasentirlasmismasemocionessinserconscientesdeello».Enotraspalabras,losalgoritmosdeFacebookpuedeninfluirenlossentimientosdemillonesdepersonassinqueestassedencuentadeloqueocurre.¿Quépasaríasijugasenconlasemocionesdelagenteeldíadelaselecciones?

NotengoningunarazónparacreerqueloscientíficossocialesdeFacebookesténjugando activamente con el sistema político. La mayoría de ellos son académicosseriosquellevanacabosusinvestigacionesenunaplataformaconlaquesolopodíansoñar hace apenas dos décadas. Lo que sí han demostrado es el enorme poder deFacebookparainfluirenloquesabemos,encómonossentimosyensivotamosono.Laplataformaesgigantesca,poderosayopaca.Losalgoritmosquedanocultosysolovemoslosresultadosdelosexperimentosquelosinvestigadoresdecidenpublicar.

Con Google la situación es muy parecida. Aparentemente, su algoritmo debúsquedastienecomopropósitoincrementarlosingresos,perolosresultadosdelasbúsquedas, siGoogle así lo decidiera, podrían tener un efecto dramático en lo que

www.lectulandia.com-Página147

Page 148: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

sabe lagenteyenelsentidodesuvoto.Recientemente,dos investigadores,RobertEpstein yRonaldE,Robertson, pidieron a votantes indecisos enEstadosUnidos eIndiaqueusasenunmotordebúsquedaparainformarsesobrelaseleccionesqueibana celebrarse poco después.[244] Los motores que usaron estaban programados parasesgarlosresultados,favoreciendoaunpartidofrenteaotro.Segúnafirmaron,estosresultadoscambiabanenun20%laspreferenciasdevoto.

Elefectofueinfluyenteenparteporquelagenteconfíamuchoenlosmotoresdebúsqueda.SegúnuninformedellaboratoriodeideasPewResearchCenter,un73%de los estadounidenses cree que los resultados de las búsquedas son rigurosos eimparciales.[245] Por lo tanto, empresas como Google pondrían en riesgo sureputaciónyestaríanpidiendoagritosfuertesmedidasregulatoriassimanipularanlosresultados de las búsquedas para favorecer un resultado político en detrimento deotro.

Pero, en realidad, ¿lo sabríamos sí lo hicieran? La información que recibimossobreestosgigantesdeInternetprovienefundamentalmentedelaínfimaproporciónde investigacionespropiasque comparten.Sus algoritmos son secretosdemercadofundamentales.Desarrollansuactividadenlassombras.

Todavía no puedo decir que los algoritmos de Facebook o Google sean ADMpolíticas,porquenotengoningunapruebadequeestasempresasusensusredesparaprovocardaños.Aunasí,elpotencialquetienenparallegaralabusoesinmenso.Eldramasedesarrollaenelcódigoytrasimponentescortafuegos.Y,comoveremosacontinuación,estatecnologíatienelacapacidaddecolocarnosacadaunodenosotrosdentrodenuestropropioyacogedorrincónpolítico.

***

Afinalesdelaprimaverade2012,elexgobernadordeMassachusetts,MittRomney,teníalacandidaturarepublicanabienatada.Elpasosiguienteconsistíaenconseguirlos fondos de financiación adecuados para el momento decisivo de las eleccionesgeneralesfrentealpresidenteObama.Porlotanto,el17demayoviajóaBocaRatón(Florida),parauneventoderecaudacióndefondosenlamansióndeMarcLeder,uninversordecapitalprivado.[246]Lederyahabíainsuflado225.000dólaresenelSuperPAC (comité de acción política sin limitación de recaudación) «Recuperemosnuestros futuro», a favor deRomney, y otros 63.330 en el PAC (comité de acciónpolíticaregulado)porlavictoriadeRomney.MarcLederhabíareunidoamuchosdesus amigos ricos, la mayoría de ellos del sector de las finanzas y del mercadoinmobiliario,paraconoceralcandidato.Naturalmente,eneleventohabríacatering.

Romneypodíadarporsentadoquehablabaenunentornocerradoyseguro,anteungrupodepersonasquecompartíanla líneadepensamientodeMarcLeder.Sisehubiera tratado de un discurso televisado, Romney habría tenido cuidado de nomolestar a ninguno de los potenciales votantes republicanos, desde cristianos

www.lectulandia.com-Página148

Page 149: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

evangélicos y financieros deWall Street a cubano-americanos y amas de casa dezonasresidencialesentregadasalcuidadodesushijos.Precisamenteeseesfuerzoporcomplaceratodoelmundoesunadelasrazonesdequelosdiscursospolíticosseantanaburridos(ylosdeRomneyloeranhastatalpuntoqueinclusosuspartidariossequejabandeello).Sinembargo,enunencuentroprivadoencasadeMarcLeder,unpequeño e influyente grupo podría ver en persona al verdadero Mitt Romney yescuchar loqueelcandidatoopinabadeverdad,sin filtros.Lehabíanentregadoyagenerosas donaciones; una charla sincera era lo menos que podían esperar de suinversión.

Romney, al creer que disfrutaba de la compañía de personas afines y que leapoyaban, dio rienda suelta a sus opinionespersonales diciendoque el 47%de lapoblacióneranunos«aprovechados»quevivíandelagenerosidaddelgranGobierno.Estagentejamásvotaríaporél,afirmabaelgobernador,porloqueeraespecialmenteimportante llegar al otro 53 96. Sin embargo, Romney se había equivocado alidentificarasuaudiencia.Losempleadosdelcateringqueservíanlasbebidasyloscanapés entre los invitados eran intrusos y, como casi todo el mundo hoy en día,teníanmóviles con cámara de vídeo. El vídeo con los comentarios despectivos deRomneyquegrabóunodeloscamarerossehizoviral.[247]EsmuyprobablequeestameteduradepatalecostaraaRomneylaspocasposibilidadesquetuviesedellegaralaCasaBlanca,[248]

EléxitodeRomneyenaquelencuentroenBocaRatónrequeríatantounabuenaidentificación de la audiencia como discreción. Quería ser el candidato ideal paraMarcLederycompañíayconfiabaenquelacasadeLedereraunazonaseguraenlaque podía ser ese candidato. En un mundo ideal, los políticos circularían porincontables zonas seguras segmentadas, para así poder adaptar el discurso a cadasubgrupo sin dejar que los otros lo viesen. Un candidato podría ser muchoscandidatos, y cada subgrupo del electorado vería únicamente el lado del candidatoqueprefiere.

Esta duplicidad, o «multiplicidad», no es nueva en política. Durante muchotiempo, los políticos han intentado ser muchas cosas para mucha gente, ya seacomiendo salchichas tradicionales polacas enMilwaukee (con una de lasmayorescomunidades polacas de Estados Unidos), citando la Tora en Brooklyn (en suimportante barrio judío) o jurando lealtad al bioetanol de maíz en Iowa (estadoproductor de maíz). Sin embargo, como Romney descubrió, ahora las cámaras devídeopodíantrincarlosfácilmentesisepasabandecontorsionistas.

Noobstante,elmodernomarketingorientadoalconsumidorofrecealospolíticosnuevasvíasparadeciragruposconcretosdevotantesloquesabenqueesoselectoresquieren oír. Y cuando lo hacen, es más probable que dichos votantes acepten lainformacióntalycomoselapresentanporqueconfirmasuscreenciasanteriores,unfenómenoquelospsicólogosllamansesgodeconfirmación.Estesesgoesunadelasrazones por las que ninguno de los contribuyentes invitados cuestionó a Romney

www.lectulandia.com-Página149

Page 150: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

cuando este afirmóque casi lamitad de los votantes solo buscaban las ayudas delGobierno.Estaaseveraciónnohacíamásquereforzarsusconviccionesprevias.

Esta mezcla de política y marketing orientado al consumidor ha idodesarrollándosedesdehacemediosiglo,almismotiempoquelosritualestribalesdela política estadounidense, con sus jefes de distrito electoral y sus largos listinestelefónicos, se han entregado a la ciencia del marketing. En The Selling of thePresident, publicado tras la campaña de 1968 de RichardNixon, el periodista JoeMcGinniss presentó a sus lectores los equipos operativos políticos que trabajabanparapromocionaralcandidatopresidencialcomosideunbiendeconsumosetratara.[249]LacampañadeNixonconsiguiómoldeareldiscursoparaadaptarloadiferentesregionesysectoresdemográficosgraciasalainvestigacióncongruposfocales.

Sinembargo,conelpasodeltiempo,lospolíticosdemandaronunaaproximaciónmásdetallada,unaqueidealmentellegaraacadavotante individualconunanzuelopersonalizado.Estedeseocondujoalnacimientodelascampañasdecorreodirecto.Tomando prestadas tácticas del sector de las tarjetas de crédito, los equiposoperativospolíticosgeneraronenormesbasesdedatosdeclientes—votantesenestecaso—ylosclasificaronenvariossubgruposenfuncióndesusvaloresysussectoresdemográficos. Por primera vez era posible enviar a dos vecinos de lamisma callediferentescartasydistintapropagandadelmismopolítico,unasprometiendoprotegerlanaturalezayotrasponiendoelacentoenlaleyyelorden.

Elcorreodirectoera lamicrosegmentaciónenpañales.Laconvergenciadelbigdata y elmarketing de consumo ha entregado a los políticos nuevas herramientasmucho más poderosas. Ahora pueden dirigirse a microgrupos de ciudadanos paraconseguirvotosodineroyparaatraerlosconunmensajemeticulosamentepulido,unmensajequeprobablementenadiemásvea.PuedeserunbannerdeFacebookouncorreoelectrónicosolicitandofondos.Ycadaunodeellospermitea loscandidatosvendersilenciosamentemúltiplesversionesdesímismos…ynadiesabequéversiónserálaqueocuparáeldespachodespuésdelatomadeposesión.

Enjuliode2011,másdeunañoantesdequeelpresidenteObamasepresentasealareelección, un científico de datos, Rayid Ghani, publicó el siguiente anuncio enLinkedIn:[250]

Secontratanexpertosenanalíticaquequieranmarcarladiferencia.Lacampaña para la reelección de Obama necesita más analistas en elequipodedicadoaproblemasdemineríadedatosagranescalaydealtoimpacto.

Ofrecemos varios puestos que requieren distintos niveles deexperiencia. Se buscan expertos en estadística, aprendizajeautomático,mineríadedatos, análisisde textosyanálisispredictivo

www.lectulandia.com-Página150

Page 151: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

para trabajarcongrandesvolúmenesdedatosyayudaraorientar laestrategiadelaselecciones.

RayidGhani,ingenierodesistemasqueestudióenlaUniversidadCarnegieMellon,estaba al frente del equipo de datos de la campaña de Obama.[251] En su puestoanteriorenAccentureLabs,enChicago,habíadesarrolladoaplicacionesdeconsumopara big data y confiaba en que podría aplicar sus capacidades a la política. ElobjetivodelacampañadeObamaeralacreacióndetribusdevotantesquepensarande formasimilar,gente igualmenteuniformeensusvaloresyprioridadescomo losinvitadosaleventodeMaroLeder—perosinloscamareros—.Asípodríandirigirseaellosconelmensajequemásprobabilidadestuviesedemovilizarloshaciaobjetivosespecíficos,comovotar,organizarorecaudarfondos.

UnodelosproyectosdeGhanienAccentureconsistíaenhacermodelacionesconloscompradoresdeunsupermercado.[252]UnaimportantecadenaentregóalequipodeAccentureunabasededatosgigantescaconlascomprasdeclientescuyosdatospersonaleshabíansidoborrados.Laideaerainvestigaresosdatosafondoyestudiarlos hábitos de compra de cada consumidor, para luego clasificarlos en cientos degruposdiferentes.Estabanloscompradoresimpulsivosquecogíancaramelosalpasarpor caja y los fanáticos de la salud dispuestos a pagar el triple por la col rizadaecológica.Estaseranlascategoríasobvias,perootrasresultaronmássorprendentes.Ghani y su equipo, por ejemplo, pudieron identificar a los consumidores quepermanecíanfielesaunamarcayaotrosquecambiabanencuantoselesofrecíaunpequeño descuento. También había clasificaciones para esos «influenciables». Elobjetivofinaleraelaborarunplandiferenteparacadacompradoryguiarloatravésdela tienda, llevándolo por todos los alimentos que con más probabilidad querría ycompraría.

Por desgracia para los clientes deAccenture, ese objetivo final dependía de lallegadadecarritosde lacompracomputarizados,queaúnnosehanpuestomuydemodaypuedequenuncalleguenahacerlo.Noobstante,apesardeladecepcióndelos supermercados, el experimento de Ghani se podía trasladar perfectamente a lapolítica. Esos compradores volubles que cambiaban de marca para ahorrarse unospocoscéntimos,porejemplo,secomportabandemaneramuysimilaralosvotantesindecisos.En el supermercado se podía calcular cuánto costaría que un compradorcambiase de una marca de café o kétchup a otra más rentable, de modo que elsupermercado podía seleccionar al, digamos, 15 % de los clientes con másprobabilidades de cambiar de una marca a otra y darles vales de descuento. Unasegmentación inteligenteeraesencial.Noqueríanentregarvalesdedescuentoa losconsumidoresqueestuviesendispuestosapagarelpreciocompleto.Esoseríacomoquemardinero.[253]

¿Funcionarían los mismos cálculos con los votantes indecisos? Armados congrandesvolúmenesdedatosdeconsumo,demográficosydevoto,Ghaniysuequipo

www.lectulandia.com-Página151

Page 152: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

sepusieronmanosa laobraconla investigación.Sinembargo,sedierondebrucescon una diferencia crucial. En el proyecto del supermercado todos los datosdisponibles estaban directamente relacionados con el ámbito de las compras.Estudiaronpatronesdeconsumoparapredecirloquelagentecompraría(einfluirenello).Sinembargo,enpolíticahabíamuypocadisponibilidaddedatosdirectos.Enamboscasos,losequiposdedatosnecesitabanvaloressustitutivos,yparaobtenerloshacíafaltainvestigar.

Comenzaron realizandoentrevistasdegranprofundidadamilesdepersonas.Aalgunoslespreocupabalaeducaciónolosderechosdeloshomosexuales,aotroslaSeguridadSocialoel impactodel frackingen losacuíferosdeaguadulce.Algunosapoyaban incondicionalmente al presidente, otros no se definían. A muchos lesgustaba,perocasinuncaibanavotar.Algunosdeellos—yestoeravital—estabandispuestosaaportardineroalacampañadeObama.

CuandoelequipodeGhanihubocomprendidoaestepequeñogrupodevotantes,sus deseos, susmiedos y lo que hacía falta para cambiar sus comportamientos, elsiguienteretoeraencontrarotrosmillonesdevotantes(odonantes)quesepareciesena ellos. Esto suponía buscar entre los datos de consumo y demográficos de losvotantes que habían entrevistado y crear perfiles matemáticos de todos ellos.Después,bastarlaconrastrearlasbasesdedatosnacionalesparaencontrarapersonasconperfilessimilaresyclasificarlasenlosmismosgrupos.

Lacampañapodríaentoncesdirigirseacadagrupoconpublicidadespecífica,talvezenFacebookoenlaspáginaswebdelosmediosdecomunicaciónquevisitaban,paraversirespondíancomoseesperaba,llevaronacaboelmismotipodetestA/BqueusaGoogleparaverconquétonodeazulconsiguemásclics.Probarondiferentesenfoques y descubrieron que, por ejemplo, los correos con el asunto «¡Hey!»fastidiabanalagente,perotambiénconducíanaunmayorcompromisoy,aveces,amásdonaciones.Trasmilesdepruebasyajustes, lacampañaalfinpudotomarlelamedidaasuaudiencia—incluidoun importantísimocontingentede15millonesdevotantesindecisos—.

A través de este proceso, la campaña elaboró diferentes perfiles de votantesestadounidenses,[254] Cada perfil contenía numerosas puntuaciones, que no solocalibrabansuvalorcomovotante,voluntarioodonantepotencial, sinoque tambiénreflejabansusposturasantediferentestemas.Unvotantepodiatenerunapuntuaciónalta en temas medioambientales, pero baja en seguridad nacional o comerciointernacional.EstetipodeperfilespolíticossonmuysimilaresalosquelasempresasdeInternetcomoAmazonoNetflixusanparagestionarasusdecenasdemillonesdeconsumidores.Lossistemasdeanálisisdeestasempresasproducenenmasaanálisiscasiconstantesdelarelacióncoste-beneficioparamaximizarlosingresosporcliente.

Cuatroañosmástarde,lacampañadeHillaryClintonsebasóenlametodologíacreada por el equipo de Obama,[255] Contrató a una empresa emergente demicrosegmentación, financiada por el presidente de Google, Eric Schmidt, y

www.lectulandia.com-Página152

Page 153: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

gestionadaporMichaelSlaby,directortecnológicodelacampañadeObamaen2012,El objetivo, según un informe divulgado en la publicación económica electrónicaQuartz,eraelaborarunsistemadedatosquepudiesecrearunaversiónpolíticadelossistemas que desarrollan empresas como la empresa de computación en la nubeSalesforce.comparagestionarasusmillonesdeclientes.

Elapetitopornuevosdatospertinentes,comoesfácildeimaginar,esintenso.Ymuchos de los métodos empleados para reunirlos son repugnantes, por no decirinvasivos. A finales de 2015 el Guardian denunció que una empresa de datospolíticos, CambridgeAnalytica, había pagado a académicos del ReinoUnido parareunir los perfiles de Facebook demillones de votantes estadounidenses, incluidossusdatosdemográficosylosregistrosdelos«Megusta»decadausuario.[256]Usaronestainformaciónparallevaracaboanálisispsicográficosdemásde40millonesdevotantes, clasificándolos dentro de la escala del «modelo de los cinco grandesfactoresde lapersonalidad»:aperturaanuevas ideas, responsabilidad,extraversión,amabilidadeinestabilidademocionalPosteriormente,losgruposquetrabajabanparala campaña presidencial de TedCruz usaron estos estudios para crear anuncios detelevisióndirigidosadiferentes tiposdevotantesy los colocaronen losprogramasqueveríanconmayorprobabilidad.Cuando,porejemplo,enmayode2015ellobbyCoaliciónJudíaRepublicanasereunióenelhotelVenetiandeLasVegas,lacampañadeCruz lanzó una serie de anunciosweb que únicamente podían verse dentro delcomplejohoteleroyenlosqueesterecalcabasudevociónporIsraelysuseguridad.[257]

Tendría que mencionar aquí que no todas estas campañas publicitariassegmentadashanresultadoefectivas.Nohaydudadequealgunassolovendenhumo,Al fin y al cabo, las empresas de microsegmentación hacen elmarketing de suspropios productos a distintas campañas y grupos de acción política que tienenmillonesdedólaresparagastar.Lesvendengrandespromesasdebasesdedatosdevalor incalculable y segmentacionesmilimétricas, muchas de ellas exageradas. Demodoque, en este sentido, lospolíticosno solohacenpromesasdudosas, sinoquetambién las consumen (y aprecios exorbitantes).Una vez dicho esto, y tal y comoquedódemostradoconlacampanadeObama,algunosdeestosmétodossídanfrutos.Yelsectorentero—tantoloscientíficosdedatosserioscomoloscharlatanes—poneelfocoenlosvotantes.

Sin embargo, las empresas de microsegmentación política se enfrentan alimitacionessingularesquehacenquesutrabajoseaaúnmáscomplejo.Elvalordecada votante, por ejemplo, sube o baja dependiendo de la probabilidad de que losresultadosdelestadoenelquevotaesténdecididosono.Unvotanteindecisoenunestado indeciso comoFlorida,Ohio oNevada esmuyvalioso. Sin embargo, si lossondeos muestran que el estado está inclinándose decisivamente hacia losrepublicanos o hacia los demócratas, el valor del votante cae en picado y el

www.lectulandia.com-Página153

Page 154: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

presupuestodemarketinges rápidamenteredirigidohaciaotrosvotantescuyovalorestáalalza.

En este sentido, podemos imaginar que el electorado es similar a losmercadosfinancieros. Con el flujo de información, los valores suben y bajan igual que lasinversiones.Enestosnuevosmercadospolíticos,cadaunodenosotrosrepresentaunaacciónconunprecioquefluctúa.Cadacampañadebedecidirsiinvierteennosotrosycómo lo hace. Si merecemos la inversión, no solo deciden qué información nossuministran,sinotambiéncuántaydequémaneranoslahacenllegar.

Durante décadas se han venido hacienda cálculos similares a una escalamacropara decidir la inversión que se hacía en televisión. Según iban cambiando lossondeos, recortaban, por ejemplo, la inversión en anuncios en Pittsburgh ytrasladabanesosdólaresaTampaoaLasVegas.Ahora,conlamicrosegmentación,laatenciónpasadelaregiónalindividuo.Y,loqueesmásimportante,elindividuoveunaversiónpersonalizadadelpolítico.

Lascampañasusananálisis similarespara identificaryoptimizara losposiblesdonantes.Yaquílascosassecomplican,porquemuchosdeestosdonanteshacensuspropios cálculos.Quieren sacar elmayor partidoposible a su dinero.Sabenque sientregan inmediatamente su máxima donación, la campaña los considerará como«completamente agotados» y, por tanto, irrelevantes. No obstante, negarse a dardinero también los convertirá en irrelevantes, conquemuchos van soltando dineropocoapoco,enfuncióndesiestándeacuerdoconlosmensajesqueoyen.Paraellos,manejar a los políticos es como entrenar a un perro con galletitas. El efecto delentrenamiento es aúnmás poderoso en el caso de los que hacen donaciones a unSuperPAC,enlosquenohaytopemáximoparalosdonativos.

Evidentemente, los responsables de las campañas sonmuy conscientes de estaestrategia. Gracias a la microsegmentación, pueden mandar a cada uno de estosdonanteslainformaciónconmásprobabilidadesdesacarlamayorcantidaddedineroposibledesuscuentasbancarias.Yesosmensajessondiferentesparacadadonante.

***

Estasestrategiasnose limitana lascampañas.Contaminanelejerciciodenuestrosderechoscivilesypolíticosconlobbiesygruposdeinterésqueutilizanmétodosdesegmentaciónparahacereltrabajosucio,En2015,elCenterforMedicalProgress,ungrupoantiaborto,publicóunosvídeosconimágenesdeloqueellosasegurabanqueeraun fetoabortadoenunaclínicadeplanificación familiarde laorganización sinánimodelucroPlannedParenthood.[258]EnlosvídeosseafirmabaquelosmédicosdePlannedParenthoodvendíanpartesdelcuerpodelosbebésparasuutilizacióneninvestigación.Losvídeosdieron lugaraunaoleadadeprotestase impulsarona losrepublicanosapresionarparaqueseretiraralafinanciaciónalaorganización.

www.lectulandia.com-Página154

Page 155: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Una investigación posterior demostró que el vídeo había sido manipulado: elsupuesto feto era en realidaduna fotodel bebédeunamujerdeuna zona rural dePensilvaniaquehabíanacidomuerto.[259]PlannedParenthoodnovendíatejidofetal.ElCenter forMedicalProgressadmitióqueelvídeocontenía información falsa, loque redujo su atractivo en elmercado de las grandesmasas.Aun así, gracias a lamicrosegmentación, los antiabortistas pudieron continuar forjándose una audienciaparaelvídeo,apesardeestarbasadoenunamentira,yloemplearonpararecaudarfondosparalucharcontraPlannedParenthood.

Aunque esa campaña en concreto fue expuesta ante la opinión pública, siguenflotandobajolasuperficiecentenaresdecampañasmásdiscretasquevandirigidasavotantes individuales. Estas campañas silenciosas son igualmente fraudulentas yrinden aúnmenos cuentas que la delCenter forMedicalProgress,Sueltanbombasideológicas que los políticos apenas pueden insinuar oficialmente. Según ZeynepTufekci, tecnosociólogayprofesorade laUniversidaddeCarolinadelNorte, estosgrupos localizan a votantes vulnerables y les envían campañas que alimentan sumiedo, asustándoloscon temascomo la seguridadde sushijosoel aumentodeLainmigraciónilegal.[260]Yalmismotiempoevitanqueesosanunciosesténalavistade los votantes a los que probablemente les disgusten (o incluso les ofendan) losmensajesdeestetipo.

Eléxitodelamicrosegmentaciónexplicaenparteporqué,segúnunaencuesta,en2015másdel43%delosrepublicanostodavíacreíaqueeraciertalamentiradequeel presidente Obama era musulmán, mientras que el 20% de los estadounidensescreía que había nacido fuera de Estados Unidos y que, por consiguiente, era unpresidente ilegítimo (puede que también los demócratas hayan difundido su propiadesinformaciónatravésdelamicrosegmentación,peronadadeloquehasalidoalaluzalcanzalamagnituddelascampañasanti-Obama).[261]

Apesar del desarrollo de lamicrosegmentación, las campañaspolíticas todavíadestinandemediael75%desucompradeespaciospublicitariosenlosmediosdecomunicación a la televisión.[262] Podríamos pensar que esto tiene un efectoigualador,yesverdad.Latelevisióndistribuyeelmensajemásamplioyporelquelos políticos rinden cuentas, mientras que la microsegmentación trabaja en lassombras.Noobstante,inclusolatelevisiónestáevolucionandohaciaunapublicidadmáspersonalizada.NuevasagenciaspublicitariascomoSimulmedia,enNuevaYork,reúnenalos telespectadoresengruposdecomportamientoparaquelosanunciantespuedan dirigirse a un público que piense de manera similar, ya sean cazadores,pacifistasocompradoresdetodoterrenosdeltamañodeuntanque.[263]Amedidaquelatelevisiónylosmediosaudiovisualestiendenasegmentarcadavezmáselperfildesupúblico,creceelpotencialdelamicrosegmentaciónpolítica.

Yconlageneralizacióndeestatendencia,serácadavezmásdifícilaccederalosmensajes políticos que ven nuestros vecinos, y, como consecuencia, será máscomplicado entender por qué creen en lo que hacen, a menudo fervientemente.

www.lectulandia.com-Página155

Page 156: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Incluso a un periodista entrometido le costará localizarlos mensajes. No bastasimplementeconvisitarlapáginawebdelcandidato,porqueestádiseñadaparatrazarautomáticamente el perfil de cada visitante y adaptarse a él, considerándolo todo,desdesucódigopostalhastalosenlacesenlosquehaceclicenlapáginaeinclusolasfotos que parece que mira. La creación de docenas de perfiles falsos resultaríatambién ineficaz, ya que los sistemas asocian con cada votante real muchainformación acumulada, como historiales de compra, direcciones, números deteléfono, historiales de voto e inclusonúmeros de la seguridad social o perfiles deFacebook.Paraengañaral sistema,cadaperfil falso tendríaque llegarcon todouncargamentodedatos.Confeccionarunoexigiríademasiadotrabajoparaunproyectodeinvestigación(yenelpeordeloscasospodríaacabarimplicandoalinvestigadorenactividadesfraudulentas).

Elresultadodeestascampañasveladasesunpeligrosodesequilibrio.Losagentesdelmarketingpolíticomantienenelaboradosdosieressobrenosotros,nossuministranla información con cuentagotas y estudian cómo respondemos a ella, pero tíosabemosnadadelainformaciónquesuministrananuestrosvecinos.Estosepareceauna estrategia muy común usada por los negociadores profesionales del mundoempresarial,quetratanconcadaparteporseparadoparaqueningunadeellassepaloqueseledicealaotraparte.Estaasimetríadelainformaciónimpidequelasdistintaspartes unan sus fuerzas —que es precisamente el objetivo de un Gobiernodemocrático—.

Estacienciacrecientede lamicrosegmentación,consusperfilesypredicciones,encaja increíblemente bien en nuestra oscura colección de ADM, Es descomunal,opacaynodaexplicacionesanadiedesufuncionamiento.Proporcionacoberturaalospolíticos,alentándolosasermuchascosasparamuchagente.

Laclasificacióndevotantesindividualestambiéndebilitalademocraciaalhacerqueunaminoríadeellosseaimportante,mientrasquelosdemássonpocomásquemeros actores de reparto. De hecho, si analizamos los modelos empleados en laseleccionespresidenciales,parecequevivimosenunpaísencogido,Enelmomentoenqueescriboesto,todalapoblaciónqueimportaporsusvotosviveenunpuñadodecondados en Florida, Ohio, Nevada y algunos otros estados en disputa. Dentro deesos condados, son las opiniones de un pequeño número de votantes las quedeterminan la balanza.Tendría que señalar que,mientras quemuchasde lasADMque hemos visto, desde la publicidad depredadora hasta losmodelos de vigilancia,castigan sobre todo a las clasesmás desfavorecidas, lamicrosegmentación políticaafectaavotantesdecualquierclaseeconómica.DeManhattanaSanFrancisco,tantoricoscomopobresseencuentranprivadosdelderechoavoto(aunque,porsupuesto,losverdaderamentericospuedencompensarestoconcrecesconsusdonacionesalascampañas).

Encualquiercaso,todoelsistemapolítico—eldinero,laatención,laadulación—seconcentraenlosvotantesseleccionadosporlasegmentación.Alrestodenosotros

www.lectulandia.com-Página156

Page 157: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

prácticamentesenosignora(exceptoparalasmaniobrasderecaudacióndefondos).Unavezquelosprogramashanpredichonuestrocomportamientodevoto,cualquierintentodecambiarlodejadecompensarlainversión.[264]

Estocreaunbuclederetroalimentaciónperverso.Losvotantesignoradostienenmásprobabilidadesdesentirsedecepcionados.Losganadoressabencómoaprovecharlas reglas del juego. Conocen los entresijos del sistema, mientras que a la granmayoría de los consumidores nos llegan únicamente unos cuantos fragmentostestadosenelmercado.

Hay, además, una asimetría añadida. Las personas que los modelos habíanprevisto que irían a votar, pero que, por alguna razón, no participan en unaselecciones, reciben una atención especial en las siguientes elecciones. Parecenrebosar de un alto potencial de voto. En cambio, se ignora mayoritariamente aaquellos que se prevé que no votarán. Los sistemas buscan los votos que menoscostaría convertir, los que den el más alto rendimiento a cada dólar gastado. Laspersonasqueseabstienensoncostosas.Estadinámicaincitaaciertaclasedegenteapermaneceractivaydejaalrestoenbarbechoparasiempre.

ComosueleocurrirconlasADM,losmismosmodelosquepuedeninfligirdañostambiénpuedenusarseparabeneficiodelahumanidad.Enlugardesegmentaralosciudadanos paramanipularlos, se podría establecer una lista de personas a las queayudarprioritariamente.Enunaseleccionesmunicipales,porejemplo,unacampañade microsegmentación podría etiquetar a ciertos votantes por la publicación demensajesairadosporalquileresprohibitivos.Ysielcandidatosabequeestosvotantesestánenojadosporelpreciodelalquiler,¿porquénousarlamismatecnologíaparaidentificaraaquellosquemássebeneficiaríandeunaviviendaasequibleydespuésayudarlesaencontrarla?

Conlosmensajespolíticos,comoconlamayoríadeADM,laclavedelproblemaestácasisiempreenlafinalidad.Simodificamossupropósitoy,enlugardechuparlela sangre a la gente, el objetivo es ayudarla, desarmamos elADM…y puede queinclusoseconviertaenunafuerzadelbien.

www.lectulandia.com-Página157

Page 158: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

EConclusión

n este recorrido a lo largo de una vida virtual, hemos ido al instituto y a launiversidad,hemosestadoenlostribunalesyenellugardetrabajo,eincluso

hemosvisitadolasurnas.AlolargodelcaminohemossidotestigosdeladestrucciónquecausanlasADM,LasADM,consupromesadeeficienciayjusticia,distorsionanlaeducaciónsuperior, acrecientan ladeuda, incitana laspenasdeprisiónenmasa,golpeanalospobresenprácticamentetodaslascoyunturasysocavanlademocracia.Parecequelarespuestalógicadebeserdesarmarestasarmasunaauna.

El problema es que se alimentanmutuamente. Las personas pobres tienenmásprobabilidades de tenermalos historiales crediticios y de vivir en barrios con altastasas de delincuencia, rodeadas de otras personas pobres.Una vez que el universooscuro de las ADM ha digerido estos datos, cubre a esas personas de anunciosdepredadoresdepréstamosdealtoriesgoodeuniversidadesprivadasconánimodelucro.Envíamásagentesdepolicíaaarrestarlasy,cuandosondeclaradasculpables,lascondenaapenasmáslargas.EstosdatosalimentanaotrasADM,quecalificanalasmismaspersonascomodealtoriesgoocomoblancosfácilesypasanaexcluirlasde las vacantes en las empresas, al tiempo que inflan los tipos de interés de sushipotecasodesuspréstamosparacomprarseuncoche,asícomolasprimasdetodoslossegurosimaginables.Estoreduceaúnmássucalificacióndesolvenciacrediticia,con loquesecreaunaespiralmortalen lamodelación.SerpobreenunmundodeADMresultacadavezmáspeligrosoycaro.

Las mismas ADM que maltratan a los pobres también colocan a las clasesacomodadas de la sociedad en sus propios silos demarketing. Las envían en jetsprivadosdevacacionesaArabaylasinscribenenlalistadeesperadelaprestigiosaescuela de negocios Wharton. Seguro que muchos tienen la sensación de que elmundo es más inteligente y más fácil. Los modelos les muestran descuentos enprosciuttoyvinosChianti,lesrecomiendanunapelículafantásticaenAmazonPrimeo losdirigen,unoauno,hastaunacafeteríademodaen loqueanteseraunbarrio«oscuro». El carácter tranquilo y personal de esta segmentación evita que losganadoresdelasociedadveancómoesosmismosmodelosestándestruyendovidas,enocasionesasolounascuantasmanzanasdedistancia.

EllemanacionaldeEstadosUnidos,«EPluribusUnum»,significa«demuchos,uno»,perolasADMhaninvertidolaecuación.Operandoenlassombras,dividenuntodoenmuchos,al tiempoquenosocultaneldañoqueestáninfligiendoanuestrosvecinosmás omenos cercanos.Esos daños son incalculables. Se producen cuandouna madre soltera no consigue encontrar a alguien que cuide de su hija con lasuficiente rapidez para adaptarse a su horario de trabajo cambiante, o cuando unjovencondificultadesesexcluidodelprocesodeselecciónparauntrabajoporhoras

www.lectulandia.com-Página158

Page 159: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

poruntestdepersonalidad.Losvemoscuandounadolescentedeunaminoríapobreesdetenido,amenazadoyamonestadoporlapolicíalocal,ocuandountrabajadordeunagasolineraqueviveenuncódigopostaldeunbarriopobrerecibelamalanoticiadeque lehansubido laprimadelseguro.Esunaguerrasilenciosa,quegolpeaconmásdurezaalospobres,aunquetambiénafectaaladasemedia.Susvíctimas,ensumayoría, no tienen el suficiente poder económico, ni acceso a abogados o aorganizacionespolíticasbienfinanciadasparapoderganarlasbatallas.Elresultadoesun daño generalizado, que con demasiada frecuencia es percibido como algoinevitable.

Nopodemoscontarconqueelmercadolibrecorrijaestosmales.Yparaentenderporqué,vamosacompararlasADMconotralacracontralaquenuestrasociedadhaestadoluchando:lahomofobia.

En septiembre de 1996, dos meses antes de su reelección, el presidente BillClinton firmó la Ley de Defensa del Matrimonio.[265] Esta ley, que definía elmatrimonio como la unión entre un hombre y una mujer, prometía consolidar elapoyo al presidente en los reductos conservadores de los estados en disputa en laselecciones,incluidosOhioyFlorida.

Justo una semana después, el gigante tecnológico IBM anunciaba que daríacoberturamédica a las parejas delmismo sexo de sus trabajadores.[266] PodríamospreguntarnosporquéIBM,unpilardelestablishmentcorporativo,sedecidíaaabriresta vía e invitar a la polémica precisamente en elmomento en que un presidenteestadounidensesupuestamenteprogresistadabaunpasoenladirecciónopuesta.

Larespuestaaestotienequeverconlacuentaderesultadosdelasempresas.En1996, lafiebredeInternetestaba justoarrancandoeIBMcompetíapor losmejorescerebrosconOracle,Microsoft,Hewlett-Packardymontonesdestart-ups,entre lasqueseencontrabanAmazonyYahoo.Lamayoríadeestasotrasempresasyadabancoberturasanitariaalasparejasdelmismosexodesusempleados,conloquehabíanatraído a gais y lesbianas con talento. IBM no pedía permitirse quedar fuera, «Entérminosdecompetitividadempresarial tenía sentidohacerlo»,declaróentoncesunportavozdeIBMaBusinessweek.[267]

SipensamosenlaspolíticasderecursoshumanosdeIBMyotrasempresascomosi fueran algoritmos, podemos decir que han estado codificando la discriminacióndurantedécadas.Elpasodeigualarlacoberturamédicalasimpulsóasermásjustas.Desdeentonces, losgaisy las lesbianashanconseguido impresionantesavancesenmuchoscampos.Elavanceesdesigual,evidentemente.Muchosestadounidensesgais,lesbianasytransgénerosiguensiendovíctimasdelprejuicio,laviolenciaylasADM.Yestoesespecialmenteciertoentrelaspoblacionespobresyenlasminorías.Peseatodo, según redacto estas líneas, un gay,TimCook,[268] es el director ejecutivo deApple,lacompañíademayorvalordetodoelplaneta.[269]Ysiasílodesea,tieneelderechoconstitucionaldecasarseconunhombre.

www.lectulandia.com-Página159

Page 160: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Ahora que hemos visto cómo las grandes corporaciones pueden dar pasosdecisivosparacorregirunerrorensusalgoritmosdecontratación,¿porquénohacerajustessimilaresenlosmodelosmatemáticosqueestáncausandoestragosennuestrassociedades,lasADM?

Desgraciadamente, existe una diferencia evidente. Los derechos de los gais sebeneficiarondemuchasformasdelasfuerzasdelmercado.Existíaungrupodegaisylesbianas congran talentoy formación académica superiorque sehacíavaler cadavez más y que las empresas deseaban contratar. De modo que las compañíasoptimizaron sus modelos para atraerlos. Lo hicieron pensando en su cuenta deresultadosy,enlamayoríadeloscasos,elhechodequesusmodelosfueranasímásjustosnofuemásqueunefectocolateral.Almismotiempo,empresasdetodoelpaísempezaronacentrarsuatenciónenpudientesconsumidoresLGTB,alosqueofrecencruceros,baresconsuhorafelizyprogramasdetelevisióndetemáticagay.Aunquesin duda la inclusión estaba provocando ciertas quejas en algunos focos deintolerancia,tambiénestabaproduciendoaltosdividendos.

El desmantelamiento de un ADM no siempre ofrece una compensación tanevidente.Aunque es cierto que unamayor ecuanimidad y justicia beneficiaría a lasociedad en su conjunto, las empresas individuales no están en posición decosecharlos frutos de algo así. De hecho, a lamayoría de ellas les parece que lasADMsonaltamenteefectivas.Modelosdenegociosenteros,comolasuniversidadesprivadas con ánimo de lucro y los préstamos rápidos, se han construido sobre esabase.Ycuandounprogramainformáticoidentificaconéxitoalaspersonasqueestánlosuficientementedesesperadascomoparapagaruntipodeinterésdel18%almes,losquerecogenlosbeneficiospiensanqueelprogramafuncionaalaperfección.

Lasvíctimas,obviamente,sientenalgodistinto.Sinembargo,lagranmayoríadeellas—las personas que trabajan por horas y los desempleados, las personas quearrastran calificaciones crediticias bajas durante toda su vida— son pobres, y lospresos están indefensos. Y en nuestra sociedad, en la que el dinero comprainfluencias,lasvíctimasdelasADMnotienenvoz.Desdeelpuntodevistapolítico,lamayoría de ellas son tratadas comopersonas sin derecho a voto.De hecho, condemasiada frecuencia se culpa a los pobres de su propia pobreza, de sus colegiosdeficientesydeladelincuenciaqueaquejasusbarrios.Esaeslarazónporlaquemuypocospolíticossemolestansiquieraenprepararestrategiasantipobreza.Laopinióngeneralesquelasdesgraciasdelapobrezasonunaespeciedeenfermedadyloquehayquehacer—almenossegúndicenlosdiscursos—esponerlaencuarentenaparaevitarquesepropaguealaclasemedia.Debemosreflexionarsobrecómoseatribuyelaculpaenlavidamodernaysobrecómolosmodelosempeoranestecírculovicioso.

Noobstante, lospobresnosonenabsoluto lasúnicasvíctimasde lasADM.Nimuchomenos.Yahemosvistocómounosmodelosmalintencionadospuedenponeraunoscandidatoscualificadosenlalistanegrayaplicardescuentosalossueldosdelostrabajadoresquenoencajanenlaimagendesaludidealdeunaempresa.EstasADM

www.lectulandia.com-Página160

Page 161: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

golpeanalaclasemediaconlamismafuerzaqueacualquiera.InclusolosricossonmicrosegmentadospormodelospolíticosyseesfuerzantantocomotodoslosdemásporsatisfaceraladespiadadaADMquedecidequiénesadmitidoenlauniversidadyquecontaminalaeducaciónsuperior.

Tambiénesimportanterecordarqueestonoesmásqueelprincipiodeestanuevaera. Como es obvio, los prestamistas de créditos rápidos y otras empresas de suíndoleiránprimeroaporlospobresylosinmigrantes.Sonlosblancosmásfáciles,losobjetivosmáscercanos.Sonpersonasquetienenmenosaccesoalainformaciónymuchasde ellas estándesesperadas.Sin embargo, lasADMquegeneran fabulososmárgenesdebeneficiosnoselimitarándurantemuchotiempoalasclasesmásbajasde lasociedad.Losmercadosnofuncionanasí.Yahemosvistoque lascosasestáncambiandoconelejemplode losbancos tradicionalesque inviertenenoperacionesdepréstamosentreparticularescomoLendingClub.Enpocaspalabras,todossomosblancosde lasADM.Yseguiránmultiplicándoseysembrandoinjusticiashastaquetomemosmedidasparadetenerlas.

Lainjusticiasiemprehaexistido,yafueraporavariciaoporprejuicios.Ypodríadecirse que lasADMno son peores que lamaldad de la humanidad en el pasadoreciente. Al fin y al cabo, en muchos casos, el responsable de la concesión depréstamosodecontrataciónpodíaexcluirsistemáticamentea todaunaraza,pornomencionar a todo un sexo, del proceso de evaluación para la concesión de unahipoteca o de un proceso de selección de personal. Incluso los peores modelosmatemáticos,podríandeciralgunos,nolleganasertanterribles.

Y,sinembargo,latomadedecisioneshumana,aunqueamenudotengadefectos,tiene una gran virtud: puede evolucionar. Al ir aprendiendo y adaptándonos, loshumanoscambiamosynuestrosprocesoscambianconnosotros.Porelcontrario,lossistemasautomatizadospermanecencongeladoseneltiempohastaquelosingenierosbuceanenellosparamodificarlos.Sisehubieracreadounmodelodebigdataparagestionarlassolicitudesdeaccesoalauniversidadaprincipiosdeladécadade1960,seguiríasinhabermuchasalumnasenlauniversidad,porquedichomodelosehabríabasado principalmente en hombres de éxito. Si los museos de esa misma épocahubieran codificado las ideas preponderantes sobre las grandes obras de arte,seguiríamosvalorando casi exclusivamente el arte producidopor hombres blancos,laspersonasalasquelosricosmecenaspagabanparaquecrearanarte.Elequipoderugby de laUniversidad deAlabama seguiría estando formado exclusivamente porjugadoresblancos.

Los procesos del big data codifican el pasado. No inventan el futuro. Parainventar el futuro hace falta imaginación moral y eso es algo que solo los sereshumanos pueden ofrecer. Debemos integrar de forma explícita mejores valores ennuestrosalgoritmosycrearmodelosdebigdataquesigannuestroejemploético.Yavecesesosignificadarprioridadalajusticiaantesquealosbeneficios.

www.lectulandia.com-Página161

Page 162: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

En cierto sentido, nuestra sociedad está enfrentándose a una nueva revoluciónindustrial,Ypodemosextraeralgunasleccionesdelaúltimarevoluciónindustrialquevivimos. La llegada del siglo XX fue una época de grandes avances. Era posiblealumbrar los hogares con electricidad y calentarse con carbón. Lasmodernas víasferroviariastrajeroncarne,verdurasyalimentosenlatadeuncontinentemuylejano.Paramuchos,lavidamejoraba.

No obstante, este progreso también tuvo un espantoso lado oscuro. Estabaimpulsadoporlaexplotacióndelostrabajadores,muchosdeellosniños.Alnoexistirninguna normativa de salud ni seguridad, las minas de carbón se convirtieron entrampasmortales. Solo en 1907murieron 3242mineros.[270] Los trabajadores queempaquetaban carne trabajaban entre doce y quince horas al día en condicionesinmundas,yamenudodespachabanproductostóxicos.ArmourandCo.enviabaalastropasdelEjércitoestadounidense toneladasde latasde ternerapodridacuyohedorcubríaconunacapadeácidobórico.Mientrastanto,ávidosmonopoliosdominabanlosferrocarriles,lascompañíaseléctricasylosserviciospúblicoseinflabanlastarifasquedebíanpagarlosconsumidores,loqueequivalíaaunimpuestosobrelaeconomíanacional.

Eraevidentequeelmercado librenoeracapazdecontrolarsusexcesos,por loque,cuandoperiodistascomoIdaTarbellyUptonSinclairexpusieronestosyotrosproblemas, el Gobierno empezó a intervenir. Estableció protocolos más seguros einspeccionessanitariasalosalimentosyprohibióeltrabajoinfantil.Conelaugedelossindicatosylaaprobacióndeleyesquelosprotegían,nuestrasociedadempezóaestructurarse en días laborables de ocho horas de trabajo y fines de semana libres.Estas nuevas normas protegían a las empresas que no querían explotar a lostrabajadoresnivenderalimentoscontaminados,porquesuscompetidoresteníanqueregirse por las mismas reglas. Y aunque sin duda incrementaron el coste de losnegocios, también beneficiaron a la sociedad en su conjunto. Casi nadie querríavolveralaépocaanteriorasuexistencia.

***

¿Ycómoempezarahoraaregularlosmodelosmatemáticosquedirigencadavezmásnuestras vidas?Yo sugeriría que el proceso comenzara con los programadores quecreanlosmodelos,Aligualquelosmédicos,loscientíficosdedatosdeberíanhacerun juramento hipocrático centrado en los posibles abusos ymalinterpretaciones desusmodelos.Tras lacrisis financierade2008,dos ingenieros financieros,EmanuelDermanyPaulWilmott,redactaronelquedeberíaconvertirseeneljuramentodelosprogramadores.[271]Eselsiguiente:

→ Recordaré que no he creado el mundo, y que este no satisface misecuaciones.

www.lectulandia.com-Página162

Page 163: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

→Aunque emplee audazmente modelos para estimar valor, no me dejaréimpresionarexcesivamenteporlasmatemáticas.

→ Nunca sacrificaré la realidad por elegancia sin explicar por qué lo hehecho.

→Tampocoproporcionaréaquienesusenmismodelosuna falsa sensacióndeseguridadsobresuprecisión,sinoqueharéexplícitoslossupuestosyomisiones.

→Reconozcoquemitrabajopuedetenerenormesefectossobrelasociedadylaeconomía,muchosdeellosmásalládemicomprensión.

Se trata de una buena base filosófica, pero la autorregulación y unos valoressólidossolocontendránalosescrupulosos.Además,eljuramentohipocráticoignoralapresiónqueamenudosufrenloscientíficosdedatosenelterrenocuandosusjefeslespidenrespuestasconcretas.ParaeliminarlasADMdebemosirmásalládeunasmerasbuenasprácticasenelgremiodelosdatos.Lasleyestambiéndebencambiar.Yparaqueesoocurradebemosreevaluarcómomedimoseléxito.

Enlaactualidad,eléxitodeunmodelosuelemedirseentérminosdebeneficios,eficienciaotasasdemorosidadCasisiempresemideconalgoquesepuedacontar.Pero ¿qué deberíamos contar? Pensemos en el siguiente ejemplo. Cuando alguienbuscainformaciónsobrevalesdecomidaenunmotordebúsqueda,suelenapareceranuncios de intermediarios, como FindFamilyResources, de Tempe (Arizona).[272]Este tipo de páginas web parecen oficiales e incluyen enlaces a formulariosauténticos del Gobierno, pero también recopilan nombres y direcciones de correoelectrónico para los anunciantes depredadores, incluidas las universidades privadascon ánimo de lucro. Viven de los honorarios que cobran por la generación deoportunidades de negocio (los leads) que consiguen a cambio de suministrar a lagenteunserviciosuperfluo,ymuchasdeesaspersonasseconviertenentoncesenelblancodeserviciosquenosepuedenpermitir.

¿Tieneéxitoestatransacción?Puesdependedeloquecontemos.CadaclicenunodeestosanuncioslereportaaGoogle25o50centavos,oinclusounoodosdólares.Eso es un éxito. Evidentemente, la empresa que genera los leads también ganadinero. De modo que parece que el sistema funciona de forma eficiente. Losengranajesdelcomercioestángirando.

Sin embargo, desde la perspectiva de la sociedad, una simple búsqueda deserviciosgubernamentalesponebajoelpuntodemiraalasclasespobres,empujandoa algunas de estas personas hacia falsas promesas y préstamos con altos tipos deinterés. Incluso al considerar la cuestión desde un punto de vista estrictamenteeconómico,esunagujeroenelsistema.Elhechodequehayapersonasquenecesitanvalesdecomidasuponedeporsíunfallodelaeconomíademercado.ElGobiernointentacompensaresefallocondinerodeloscontribuyentes,conlaesperanzadequelosbeneficiariosdelosvalesdecomidaconsiganalgúndíaarreglárselassolos,pero

www.lectulandia.com-Página163

Page 164: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

losgeneradoresdeleadslosempujanhaciatransaccionesinnecesarias,loquedejaamuchos de ellos conmayores déficits e incluso dependiendo aúnmás de la ayudapública. Esta ADM, aunque produce ingresos para los motores de búsqueda, losgeneradores de leads y los comercializadores, es un parásito del sistema en suconjunto.

Un sistema regulatoriodeADMdeberíamedir esos costesocultos e incorporarasimismo montones de valores no numéricos. Esto ya es así en otros tipos denormativa. Aunque los economistas intenten calcular el coste de la contaminaciónatmosférica,delaescorrentíaagrícolaodelbúhomanchado,lascifrasnuncapodránexpresartodosuvalorYlomismosueleocurrirconlajusticiayelbiencomúnenlosmodelosmatemáticos.Sonconceptosqueradicanúnicamenteenlamentehumanayseresistenalacuantificación,Ydadoquelossereshumanossonlosquehacenlosmodelos, casi nunca hacen el esfuerzo adicional necesario para siquiera intentarlo;parece demasiado difícil. No obstante, tenemos que imponer valores humanos enestossistemas,aunqueseaacostadelaeficiencia.Porejemplo,podríamostenerunmodelo programado para asegurarse de que distintas etnias o niveles de ingresosestén siempre representados en distintos grupos de votantes o consumidores,O unmodeloqueseñalara loscasosen losque loshabitantesdeciertoscódigospostalespagan por algunos servicios el doble del precio medio. Es posible que estasaproximaciones sean algo toscas, sobre todo al principio, pero son esenciales. Lasmatemáticasdebensernuestrasherramientas,nonuestrasamas.

Labrechaenlosresultadosescolares,elencarcelamientoenmasaylaapatíadelosvotantessongravesproblemasqueafectanatodoEstadosUnidosyquenopodráresolver ningún mercado libre ni ningún algoritmo matemático. De modo que elprimer paso es tomar las riendas de nuestra utopía tecnológica, esa confianzailimitadaeinjustificadaenloquelosalgoritmosylatecnologíapuedenlograr.Antesdepedirlesqueseanmejores,tenemosqueadmitirquenolopuedenhacertodo.

Para desarmar las ADM, también tenemos que medir su impacto y realizarauditorías de los algoritmos.El primer paso, antes de sumergirnos en el códigodeprogramación,eshacerestudiosde investigación.EmpezaríamostratandolasADMcomounacajanegraquecogedatosyproduceconclusiones.Estapersonapresentaunriesgomediodecometerotrodelito,estatieneun73%deprobabilidadesdevotara los republicanos, esta maestra está en el decil inferior Si estudiamos estosresultados, podremos deducir las premisas en las que se sustenta el modelo yvalorarlasenfuncióndesisonjustasono.

Enocasiones,resultaobviodesdeelprincipioqueciertasADMnosonmásqueherramientas primitivas que convierten a base de golpes la complejidad ensimplicidad, para que sea más fácil para los responsables de los departamentosdespedir a ciertos grupos de personas y ofrecer descuentos a otros. El modelo devalorañadidoutilizadoenlasescuelaspúblicasdeNuevaYork,comoelqueasignóaTimCliffordundesastroso6%uncursoyunincreíble96%elañosiguiente,esuna

www.lectulandia.com-Página164

Page 165: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

farsaestadística.Sisehaceungráficoconlaspuntuacionesdecadaaño,lospuntosmuestranunadistribucióncasi igualdealeatoriaqueladelosátomosdehidrógenoen una habitación.[273] Muchos de los alumnos de Matemáticas de esos mismosinstitutospodríanestudiaresasestadísticasyalcabodequinceminutosllegaríanalaconclusióndequelasevaluacionesnomidennada.Losbuenosprofesores,alfinyalcabo,suelenserbuenos todos losaños.Alcontrariode loqueocurre,porejemplo,conlosrelevistasenbéisbol,losprofesoresraraveztienenexcelentestemporadasyluegoépocasdesastrosas(yalcontrariotambiéndeloqueocurreconlosrelevistas;surendimientoseresistealanálisiscuantitativo).

Nohaymaneradearreglarunmodeloatrasadocomoelmodelodevalorañadido,Laúnicasoluciónenestoscasosesdeshacersedelsistemainjusto.Olvidémonos,almenosdurantelospróximosdiezoveinteaños,deconstruirherramientasparamedirla efectividad de un profesor. Es demasiado complejo, no se puedemodelar, y losúnicosdatosdisponiblessonvaloressustitutivosaproximados.Elmodelonoesaúnlo suficientemente bueno como para sustentar decisiones importantes sobre laspersonasen lasqueconfiamosparaqueenseñenanuestroshijos.Esuna tareaquerequieresutilezaycontexto.Inclusoenlaeradelbigdata,siguesiendounproblemaquedebenresolverlossereshumanos.

Evidentemente, los analistas humanos, el director u otro cargo directivo delcentro,deberíanconsiderarmuchosdatos, incluidas lasnotasdelosalumnosenlosexámenes. Deberían incorporar bucles de retroalimentación positivos, que son losprimosangelicalesdelosbuclesderetroalimentaciónperniciososquehemosllegadoaconocertanbien.Unbuclepositivosimplementefacilitainformaciónalcientíficodedatos(oalsistemaautomático)paramejorarelmodelo.Enestecaso,bastaríaconpreguntaralosprofesoresylosalumnosporigualsilesparecequelasevaluacionessoncorrectas,sicomprendenyaceptanlaspremisasquelossustentan.Ysinoesasí,¿cómosepodríanmejorar?Solopodemosesperarmejorar laenseñanzaa travésdelosdatossicontamosconunecosistemaenelquehayabuclesderetroalimentaciónpositivos.Delocontrario,elsistemaseráúnicamentepunitivo.

Esciertoque,comoseñalanrápidamentelosdefensoresdelosdatos,loscerebroshumanosejecutansuspropiosmodelosyqueestosamenudoestánsesgadosporsusprejuicios o por el egoísmo. Y, por tanto, sus resultados —en este caso lasevaluacionesdelosprofesores—tambiéndebenserauditadosparaverificarquesonjustos. Y estas auditorías deben ser cuidadosamente diseñadas y comprobadas porseres humanos, antes de automatizarlas. Mientras tanto, los matemáticos puedendiseñar modelos que ayuden a los profesores a medir su propia efectividad y amejorar.

Otras auditorías son mucho más complicadas. Tomemos el ejemplo de losmodelos de reincidencia delictiva que los jueces de muchos estados de EstadosUnidosconsultanantesdedecidirlacondenadelospresos.Enestoscasos,dadoquela tecnología es bastante nueva, hay un antes y un después. ¿Ha cambiado el

www.lectulandia.com-Página165

Page 166: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

comportamientodelosjuecesalahoradedecidirlascondenasdesdequeempezaronarecibirelanálisisderiesgodelADM?Sindudaveremosquemuchosdelosjuecesejecutaban modelos igualmente preocupantes en sus mentes mucho antes de quellegaranlosprogramasinformáticosyquecastigabanalosacusadospobresydelasminoríasdeformamásseveraquealosdemás.Podemossuponerqueenalgunosdeesos casos el softwaremoderará la condena, aunque en otros casos no será así. Ycuandodispongamosde los suficientesdatos,empezaremosaverpatronesbastanteclaros,quenospermitiránevaluarlasolidezylainclinacióndelADM.

Sidescubrimos(comoyahandemostradoalgunosestudios)quelosmodelosdereincidenciacodificanlosprejuiciosypenalizanalospobres,deberíamosanalizarlosdatosdeentrada.Enestecaso,incluyenmuchísimasconexionesentrepersonasdelamismaclase.Predicenelcomportamiento individualbasándoseen laspersonasquedichoindividuoconoce,eneltipodetrabajoquetieneyensucalificacióncrediticia—informaciónqueseríainadmisibleduranteunjuicio—.Siqueremosarreglarestosmodelosparaqueseanjustoshabráqueeliminaresosdatos.

Unmomento,diríamuchagente,¿vamosasacrificarlaprecisióndelmodeloparaqueseajusto?¿Tenemosquebajarelniveldenuestrosalgoritmos?

Enalgunoscasoslarespuestaessí.SiqueremossertodosigualesantelaLey,oser tratados todos igual como votantes, no podemos defender sistemas que nosclasifican en diferentes castas y nos tratan de forma diferente.[274] Empresas comoAmazon o Netflix pueden poner a sus clientes de pago en distintos grupos yoptimizarlostodoloquequieran,peroesemismoalgoritmonopuedeimpartirjusticiaodemocracia.

Yaestánenmarchaalgunosmovimientosparaauditaralgoritmos.EnPrinceton,por ejemplo, los investigadores han lanzado un proyecto sobre responsabilidad ytransparencia en la web.[275] Han creado robots de software que se disfrazan enInternet como si fueran personas de todo tipo—ricos, pobres, hombres,mujeres opersonas con problemas de salud mental—. Los investigadores estudian eltratamientoquerecibenestosrobotsyasípuedendetectarlossesgosexistentesenlossistemas automáticos, desde los motores de búsqueda hasta las páginas web debúsquedadeempleo.SeestánlanzandoiniciativassimilaresenuniversidadescomoCarnegieMellonyelMIT.

Elapoyoacadémicoaestasiniciativasescrucial.Alfinyalcabo,paravigilarlasADM necesitamos a personas que tengan las competencias necesarias paraconstruirlas.SusherramientasdeinvestigaciónpuedenreplicarlainmensaescaladelasADMyencontrarconjuntosdedatosqueseanlosuficientementegrandescomopararevelarlosdesequilibriosylasinjusticiasincrustadosenlosmodelos.Tambiénpueden montar campañas de colaboración masiva, para que personas de distintaspartesdelasociedadpuedanfacilitarinformaciónsobrelosmensajesquerecibendelosanunciantesode lospolíticos.Deestemodosepodríandesvelar lasprácticasyestrategiasdelascampañasdemicrosegmentación.

www.lectulandia.com-Página166

Page 167: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

No todos losmodelos tienen que ser necesariamente perversos.Después de laselecciones presidenciales de 2012, por ejemplo, ProPublica construyó su llamadaMáquina de Mensajes, que montó campañas de colaboración masiva paradescompilar con técnicas de ingeniería inversa el modelo empleado en lasegmentacióndeanunciospolíticosdurante lacampañadeObama.[276]Resultóquedistintos grupos de personas habían oído a distintas celebridades haciendocomentariosentusiastassobreelpresidente,cadaunodeellosdirigidoaunpúblicoespecífico. No es que fuera una prueba irrefutable, pero al menos, al facilitarinformación sobre elmodelo y eliminar elmisterio que lo rodeaba, laMáquina deMensajes consiguió reducir la justificación de los rumores y las sospechas queproliferabanenesemomento(aunquesolofueraunpoco).Yesoesalgobueno.

Si consideramos los modelos matemáticos como los motores de la economíadigital—yenmuchossentidosloson—,podríamosdecirqueestosauditoresabrenelcapódelcocheynosenseñancómofunciona.Esunpasocrucialparaquepodamosequiparesospoderososmotoresconvolantesyfrenos.

No obstante, los auditores se enfrentan a ciertas resistencias, amenudo de losgigantes de la web, que es lo más parecido que tenemos a servicios públicos deinformación.Google,por ejemplo,haprohibidoa los investigadoresexternoscrearmontonesdeperfilesfalsosparaidentificarlossesgosdelmotordebúsqueda.[277]Sila empresa efectivamente lleva a cabo auditorías de sesgos, prefiere hacerlasinternamente. Así pueden proteger el funcionamiento interno del algoritmo, y susprejuicios, de personas externas a la empresa.Aunque lomás probable es que losempleadosdelaempresa,quesufrencomotodosnosotrosdelsesgodeconfirmación,encuentren loqueesperanencontrar.Esposiblequenosehagan laspreguntasmásinquisitivas. Y si encuentran injusticias que parecen incrementar su cuenta deresultados…, bueno, algo así podría dar lugar a algunos debates incómodos queseguroqueprefierenmantenerbien lejosde la luzpública.Esevidentequeexistenpoderososargumentosempresarialesa favordehacerloensecreto,peroesperoquecuando el público haya descubierto más cosas sobre las ADM y exija una mayorrendicióndecuentasdeestasempresasde serviciopúblico,aGoogleno lequedenmásopcionesquedejarqueentrenlosinvestigadoresexternos.

LomismoocurreconFacebook.Laestrictapolíticadelaredsocialquevinculalosusuariosasunombrereallimitaenormementelainvestigaciónquesepuedehacerdesdefuera.Lapolíticadenombrerealesadmirableenmuchossentidos,yunodesus aspectosmás importantes es que obliga a los usuarios a rendir cuentas de losmensajes que publican. No obstante, Facebook también debe rendir cuentas antetodosnosotros,yesoimplicaabrirsuplataformaamásauditoresdedatos.

El Gobierno, evidentemente, tiene que jugar un importante papel regulatorio,igual que hizo cuando se enfrentó a los excesos y las tragedias de la PrimeraRevoluciónIndustrial.Puedeempezarporadaptaryaplicarlasleyesqueyaexisten.

www.lectulandia.com-Página167

Page 168: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Talycomodebatimosenelcapítulosobrelascalificacionescrediticias,lasleyessobre derechos civiles conocidas como la Ley de InformaciónCrediticia Imparcial(FCRA, por sus siglas en inglés)[278] y la Ley de Igualdad de OportunidadesCrediticias(ECOA,porsussiglaseninglés)[279] fueronredactadasconelpropósitode garantizar la justicia en la calificación crediticia. La FCRA garantiza que losconsumidorestienenderechoaverlosdatosquesonconsideradosensucalificacióncrediticiayacorregirlosposibleserrores,mientrasquelaECOAprohíbeasociarlarazaoelsexoalacalificacióncrediticia.

Estalegislaciónnoesperfectaynecesitadesesperadamenteunaactualización.Amenudo se ignoran las quejas de los consumidores y no hay nada que impida deformaexplícitaalasempresasdecalificacióncrediticiautilizarloscódigospostalescomo valores sustitutivos de la raza. Aun así, estas leyes constituyen un punto departida.Enprimerlugar,debemosexigirtransparencia.Cadaunodenosotrosdeberíatener derecho a recibir una alerta cuando se utiliza una calificación crediticia parajuzgarnosoinvestigarnos.Ytodosdeberíamosteneraccesoalainformaciónqueseutilizapara calcular esa calificacióny, si es incorrecta,deberíamos tenerderechoaimpugnarlaycorregirla.

En segundo lugar, la legislación debe ampliarse y cubrir los nuevos tipos deempresasdeconcesióndepréstamos,comoLendingClub,queutilizancalificacioneselectrónicasmodernasparapredecirelriesgodeimpagodelospréstamos.Nodeberíapermitírselesoperarenlassombras.

TambiénesnecesarioactualizarlaLeysobreEstadounidensesconDiscapacidades(ADA,porsussiglaseninglés),queprotegealaspersonasconproblemasmentalesde la discriminación en el lugar de trabajo.[280] El texto de la ley prohíbe en laactualidadlarealizacióndeexámenesmédicosdentrodelprocesodeselección,peroes necesario actualizarlo para que prohíba también los test de personalidad, lascalificacionesdesaludylascalificacionesdereputacióndelbigdata.Todosellosseescabullende la aplicaciónde la leyynodeberíanpoderhacerlo.Otraposibilidadquesehaempezadoadebatiryaes laampliaciónde laprotecciónde laADAparaqueprohíbatambiénlosresultadosdelas«predicciones»desaludquellegaránenelfuturo.Esdecir,quenodeberíannegárseleoportunidadesdeempleoaunapersonaporquesuanálisisgenéticomuestrequetieneunaltoriesgodedesarrollarcáncerdemamaoalzhéimer.

También debemos ampliar la cobertura de la Ley de Transferibilidad yResponsabilidad de los Seguros Médicos (HIPPA, por sus siglas en inglés), queprotege nuestra información médica, para que cubra los datos médicos que estánrecopilandoactualmentelasempresassobresusempleados,lasappsdesaludyotrasempresas de big data.[281] También deben estar protegidos todos los datosrelacionadosconlasaludquerecopilanlasagenciasdedatos,comolosrecogidosatravésdelasbúsquedasdetratamientosmédicosenGoogle.

www.lectulandia.com-Página168

Page 169: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Siqueremossacarlaartilleríapesada,quizádeberíamosconsideraracercarnosalmodeloeuropeo,queestipulaquetodoslosdatosrecopiladosdebenserautorizadospor el usuario, quien debe dar su consentimiento previo.[282] La condición delconsentimientopreviosueleevitarsepidiendoalusuarioquehagaclicenunacasillapara aceptar un texto jurídico inescrutable. Sin embargo, la cláusula de «noreutilización» tiene mucha fuerza: hace que sea ilegal vender los datos de losusuarios.[283]Y esto evita que los datos acaben enmanos de las agencias de datoscuyosexpedientesalimentanlascalificacioneselectrónicastóxicasylascampañasdemicrosegmentación. Gracias a esta cláusula de «no reutilización», las agencias dedatos en Europa tienen una actividad mucho más restringida, suponiendo quecumplenlaley.

Por último, losmodelos que tienen un impacto significativo en nuestras vidas,como las calificaciones crediticias y las calificaciones electrónicas, deberían serpúblicosyaccesiblespara todos.Lo ideal seríapodernavegarporellosa travésdeuna aplicación desde el móvil. De ese modo, en un mes malo, por ejemplo, unconsumidorpodríautilizarlaaplicaciónparacompararelimpactodelasfacturasdeelectricidadydeteléfonoimpagadasensucalificacióncrediticiayenquémedidaelhecho de tener una calificación más baja afectaría a sus planes de comprarse uncoche.Yaexistelatecnologíanecesaria,solofaltalavoluntaddeponerlaenpráctica.

***

Un día del verano de 2013 cogí elmetro hasta el extremo sur deManhattan y fuiandando hasta un gran edificio administrativo situado frente al ayuntamiento deNuevaYork.Queríaconstruirmodelosmatemáticospataayudaralasociedad,queríahacerlocontrarioaunADM.DemodoquemeapuntécomovoluntariaenungrupodeanálisisdedatosdelosDepartamentosdeServiciosHumanosydeViviendadelAyuntamiento. El número de personas sin hogar en la ciudad había alcanzado los64.000, entre los que contaban 22.000 niños.[284]Mi trabajo consistía en ayudar acrearunmodeloqueharíaunaprediccióndecuántotiempopermaneceríaunafamiliasin hogar en la red de albergues y que identificara los servicios que dicha familianecesitaría.Elobjetivoera facilitara laspersonasaccesoa loquenecesitabanparapodercuidarseasímismasyasusfamiliasyencontrarunhogarpermanente.

Mi trabajo, en muchos sentidos, consistía en ayudar a crear un modelo dereincidencia.AligualquealosanalistasqueconstruyeronelmodeloLSI-R,amímeinteresabasaberquéfuerzashacíanquelagentevolvieraalosalberguesycuáleslasempujabanhaciaunaviviendaestable.Noobstante,alcontrariodeloqueocurreconelADMparaladeterminacióndecondenas,nuestropequeñogruposeconcentrabaenutilizar estos resultadospara ayudar a lasvíctimasy reducir tanto ladesesperacióncomoelnúmerodepersonassinhogarElobjetivoeracrearunmodeloparaelbiencomún.

www.lectulandia.com-Página169

Page 170: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Enunproyectodiferente,aunquerelacionadoconeste,unodelosinvestigadoreshabía encontrado una correlación extremadamente alta que apuntaba hacia unasolución. Había un grupo de familias que solía desaparecer de los albergues y novolvía nuncamás. Se trataba de las familias que recibían vales de asistencia en elmarco de un programa federal de vivienda asequible denominado Sección 8 (laSección8delaLeydeVivienda),Elresultadonodebíaextrañaranadie.Sisefacilitaalasfamiliassinhogarunaviviendaasequible,nomuchasdeellaselegiránvolveralascallesoamiserablesalbergues.

Noobstante,estaconclusiónpodríaresultarvergonzosaparaelqueeraelalcaldede la ciudad en aquel momento, Michael Bloomberg, y su equipo. Con muchaostentación,elAyuntamientohabíaempezadoaretirarelprogramadelaSección8alas familias.[285] Habían creado un nuevo sistema, bajo el nombre deVentaja, quelimitabalossubsidiosdeviviendaatresaños.Laideaquejustificabaelcambioeraquelospobresharíanmásesfuerzosporconseguirganarmásdineroyarreglárselassoloscuandovieranqueseacercabaelfinaldesuprestación.Estavisiónresultóserexcesivamente optimista, tal y como demostraron los datos. Mientras tanto, elflorecientemercado inmobiliariodeNuevaYorkempujaba losalquileresalalza, loque hacía la transición aúnmás difícil. Las familias a las que se les acababan losvalesdelaSección8volvíanentropelalosalbergues.

Loshallazgosdel investigadorno fueronbien recibidos.NuestrogrupopreparóunapresentacióndePowerPointsobrelaspersonassinhogarenNuevaYorkparaunareuniónconimportantesfuncionariospúblicos.Despuésdepresentarlatransparenciacon las estadísticasde reincidenciay la efectividadde laSección8 tuvo lugarunaconversaciónextremadamenteincómodaybreve.Unodeellospidióqueseeliminaraesadiapositivayseimpusolalíneadelpartido.

Aunque el big data, si semaneja con prudencia, puede facilitar la compresiónprofundademuchosfenómenos,muchasdesusconclusionesserándisruptivas.Alfiny al cabo, el objetivo delbig data es encontrar patrones que son invisibles al ojohumano. El reto al que se enfrentan los científicos de datos es comprender losecosistemas que investigan y presentar no solo los problemas, sino también susposibles soluciones. Es posible que un sencillo análisis de datos aplicado a unproceso de trabajo identifique que hay cinco trabajadores que parecen superfluos,perosielequipodedatosllamaaunexperto,esposiblequedescubranunaversiónmásconstructivadelmodelo.Deesemodo,seríaposiblesugerirpuestosquepodríancubrir esas personas en un sistema optimizado e identificar la formación quenecesitaríanestosempleadospararealizarsusnuevasfunciones.Aveceseltrabajodeun científico de datos consiste en saber identificar losmomentos en los que no sesabelosuficiente.

Al estudiar la economía de los datos, encuentro montones de modelosmatemáticosquepodríanutilizarseparahacerelbienyotrostantosconelpotencialde ser grandiosos —si no se abusa de ellos—. Pensemos en el trabajo de Mira

www.lectulandia.com-Página170

Page 171: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Bernstein, que investiga la esclavitud. Tiene un doctorado en Matemáticas por laUniversidad de Harvard y creó un modelo para escanear grandes cadenas desuministros industriales, como las que se utilizan para montar teléfonos móviles,zapatillasdedeporteotodoterrenosdegamaalta,conelobjetivodedetectarindiciosdetrabajosforzados.ConstruyóunmodeloparalaidentificacióndelaesclavitudparaunaorganizaciónsinánimodelucrollamadaMadeinaFreeWorld,cuyoobjetivoesutilizar esemodelo para ayudar a las empresas a eliminar los componentes de susproductos que hayan sidomontados por esclavos.[286] La idea es que las empresasquerrán liberarse de esta lacra, en teoría porque se oponen a la esclavitud, aunquetambiénporqueasociarseconellapodríadestruirsumarca.

Mira Bernstein recopiló datos de una serie de fuentes, como los datos decomercio de las Naciones Unidas, estadísticas sobre las regiones en las que laesclavitudesmásprevalentee informacióndetalladasobre loscomponentesqueseutilizanenmilesdeproductos industrialesy los incorporó todosenunmodeloquecalificaría un producto dado de una región concreta según la probabilidad de quehubierasidofabricadopormanodeobraesclava.«Laideaesquelaempresapuedaponerseencontactoconsuproveedorparapedirlemásinformaciónsobreelorigendeciertaspiezasdelosordenadores»,declaróMiraBernsteina larevistaWired.Aligual quemuchosmodelos responsables, el detector de esclavitud no reacciona demaneraexagerada.Selimitaaseñalarlugaressospechososydejalaúltimapartedelapersecución enmanos de los seres humanos. Seguro que algunas de las empresasdescubren que el proveedor sospechoso es legítimo (todos losmodelos dan falsospositivos).Yesa informaciónes recopiladaporMade inaFreeWorld,dondeMirapuedeestudiarlaretroalimentación.

Otromodeloparaelbiencomúnhaaparecidoenelcampodeltrabajosocial.Setratadeunmodelopredictivoqueidentificaloshogaresenlosqueesmásprobableque los niños sufran malos tratos. El modelo, desarrollado por Eckerd, unaorganizaciónsinánimodelucrodeprotecciónalosniñosylasfamiliasenelsurestede EstadosUnidos, fue lanzado en 2013 en el condado deHillsborough (Florida),dondeseencuentralaciudaddeTampa.[287]Enlosdosañosanteriores,nueveniñosdelazonahabíanmuertopormalostratos,incluidounbebéalquehabíantiradoporla ventanilla de un coche. Los programadores incluyeron 1500 casos de maltratoinfantil en su base de datos, incluidos los casos de muerte. Encontraron ciertosmarcadoresdemaltrato,comoelhechodequeelnoviodelamadrevivieraencasa,antecedentesdeconsumodedrogasoviolenciadomésticayqueelpadreolamadrehubieranestadoenacogidatemporalensuinfancia:

Si fuera un programa que busca delincuentes potenciales, resulta evidente loinjustoquepodríaser.Elhabervividoenunhogardeacogidaoelqueunaparejaquenosehayacasadoconvivaenlacasanodeberíanserrazonesdesospecha.Además,es mucho más probable que el modelo seleccione a los pobres (y que ignore elposiblemaltratoenlosbarriosacomodados).

www.lectulandia.com-Página171

Page 172: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Noobstante,sielobjetivonoescastigaralospadres,sinoayudaralosniñosquepuedannecesitarlo,unADMseconvierteenunmodelobenigno.Canalizarecursoshacialasfamiliasenriesgoyenlosdosañossiguientesalaaplicacióndelmodelo,segúnelBostonGlobe,noseprodujoenelcondadodeHillsboroughningunamuertepormaltratoinfantil.[288]

Este tipodemodelossemultiplicaránen lospróximosañosyvaloraránnuestroriesgo de sufrir osteoporosis o un infarto, se lanzarán en picado para ayudar a losalumnosquetengandificultadesconCálculoIIeinclusoharánunaprediccióndequépersonastienenmayorprobabilidaddesufrircaídasgravesconsecuelaspermanentes.Muchosdeestosmodelos,aligualquealgunasdelasADMquehemoscomentado,llegarán con la mejor de las intenciones, pero deben garantizar también latransparenciaypublicartantolosdatosdeentradaqueutilizancomolosresultadosdesusegmentación.Ydebensometerseaauditorías.Alfinyalcabo,sonmotoresmuypotentes.Nodebemosperderlosdevista.

Losdatosnovanadesaparecer,ni tampocolosordenadores…yaúnmenos lasmatemáticas.Losmodelospredictivossonlasherramientasdelasquedependeremoscada vez más para dirigir nuestras instituciones, desplegar nuestros recursos ygestionarnuestrasvidas.Noobstante,talycomoheintentadodemostraralolargodeestelibro,estosmodelosnoseconstruyenúnicamentecondatos,sinotambiénconlasdecisiones que tomamos sobre cuáles son los datos a los que debemos prestaratención —y qué datos dejaremos fuera—. Y esas decisiones no se refierenúnicamente a cuestiones logísticas, de beneficios o eficiencia, sino que sonfundamentalmentedecisionesmorales.

Sinosretiramosytratamoslosmodelosmatemáticoscomosifueranunafuerzaneutra e inevitable, como la meteorología o las mareas, estaremos renunciando anuestraresponsabilidad.Yelresultado,comohemosvisto,sonADMquenostratancomo piezas de una maquinaría en el lugar de trabajo, que excluyen a posiblesempleadosyquesedanunfestínconlasdesigualdades.Debemostrabajarjuntosparavigilar,dominarydesarmarestasADM.Esperoquepasenalahistoria,aligualqueocurrióconlasterriblesminasdecarbóndehaceunsiglo,comolasreliquiasdelosalboresdeestanuevarevolución,antesdequeaprendiéramosaintroducirlajusticiayla rendiciónde cuentas en la erade losdatos.Lasmatemáticas semerecenmuchomásquelasADM,ylademocraciatambién.

www.lectulandia.com-Página172

Page 173: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

«LosModelosmatemáticosampliamenteutilizados—basadosenprejuicios,malentendidosyparcialidad—consusdesalentadoresalgoritmosquerigentodoslosaspectosdenuestrasvidastiendenacastigar

alospobresyrecompensaralosricos.»

CORYDOCTOROW

www.lectulandia.com-Página173

Page 174: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

ObtuvounPh.D.enMatemáticasdeHarvard,fuepostdoctoradaeneldepartamentodeMatemáticasdelMITyprofesoraenelBarnardCollege,dondepublicóunaseriedetrabajosdeinvestigaciónengeometríaalgebraicaaritmética.Luegosecambióalsector privado, trabajando como experta en análisis y gestión de informacióncuantitativaparaelfondodecoberturaD.E.Shawenmediodelacrisiscrediticia,yluegoparaRiskMetrics,unacompañíadesoftwarederiesgoqueevalúaelriesgoparalastenenciasdefondosdecoberturaybancos.Trasdesencantarsedelmundodelasfinanzas,O’NeilseinvolucróconelmovimientoOccupyWallStreet,participandoensuGrupodeBancaAlternativa.Dejólasfinanzasdefinitivamenteen2011ycomenzóatrabajarcomocientíficadedatosenelsectordestart-upsdeNuevaYork,creandomodelos que predecían las compras y los clics de las personas. Es una invitadasemanalenelpodcastSlateMoney.Escoautora(conRachelSchutt)deDoingDataScience:StraightTalkfromtheFrontline.TambiénescribióellibroelectrónicoBeingaDataSkeptic.

SulibroArmasdedestrucciónmatemáticafuepublicadoenEstadosUnidosen2016y fue nominado para el National BookAward 2016 en la categoría de no ficción.Cathymantieneelblogmathbabe.org,dondeopinasobretodolocuantitativo.Enélespera encontrar una respuesta mejor a la pregunta: «¿Qué puede hacer unmatemáticonoacadémicoparaqueelmundoseaunlugarmejor?».

www.lectulandia.com-Página174

Page 175: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Notas

www.lectulandia.com-Página175

Page 176: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[1]RobertStillwell,PublicSchoolGraduatesandDropoutsfromtheCommonCoreofData:SchoolYear2006-07,NCES2010-313(WashingtonD.C.:NationalCenterfor Education Statistics, Institute of Education Sciences, US Department ofEducation,2009),p.5,http//nces.ed.gov/pubsearch/pubsinfo.asp?pubid=2010313.<<

www.lectulandia.com-Página176

Page 177: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[2] Jihyun Lee, Wendy S. Grigg y Gloria S. Dion, The Nation’s Report CardMathematics 2007, NCBS 2007-494 (Washington D. C.: National Center forEducationStatistics, Institute ofEducationSciences,USDepartment ofEducation,2007),p.32,https://nces.ed.gov/nationsreportcard/pdf/main2007/2007494.pdf.<<

www.lectulandia.com-Página177

Page 178: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[3] Bill Turque, «Rhee Dismisses 241 D. C. Teachers; Union Vows to ContestFirings», Washington Post, 24 de julio de 2010, www.washingtonpost.com/wp-dyn/content/article/2010/07/23/AR2010072303093.html.<<

www.lectulandia.com-Página178

Page 179: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[4] Steven Sawchuck, «Rhee to Dismiss Hundreds of Teacbers for PoorPerformance», Education Week Blog, 23 de julio de 2oio,http//blogs.edweek.org/edweek/teacherbeat/2010/07/_states_and_districts_across.html.<<

www.lectulandia.com-Página179

Page 180: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[5]BillTurque,«206Low-PerformingD.C.TeachersFired»,WashingtonPost,15dejulio de 2011, www.washingtonpost.com/local/education/206-low-performing-dc-teachers-fired/2011/o7/15/gIQANEj5GI_story.html.<<

www.lectulandia.com-Página180

Page 181: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[6]BillTurque,«“Creative…Motivating”andFired»,WashingtonPost,6demarzode 2012, www.washmgtonpost.com/local/education/creative-motivating-and-fired/2012/02/04/gIQAwzZpvR_story.html.<<

www.lectulandia.com-Página181

Page 182: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[7]Ibid.<<

www.lectulandia.com-Página182

Page 183: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[8]Ibid.<<

www.lectulandia.com-Página183

Page 184: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[9]Ibid.<<

www.lectulandia.com-Página184

Page 185: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[10]Ibid.<<

www.lectulandia.com-Página185

Page 186: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[11]SarahWysocki,entrevistaporcorreoelectrónicollevadaacaboporlaautora,6deagostode2015.<<

www.lectulandia.com-Página186

Page 187: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[12]GuyBrandenburg,«DCPSAdministratorsWon’torCan’tGiveaDCPSTeacherthe IMPACT Value-Added Algorithm»,GFBrandenburg’s Blog, 27 de febrero de2011, https//gfbrandenburg.wordpress.com/2011/20/27/dcps-administrators-wont-or-cant-give-a-dcps-teacher-the-impact-value-added-algorithm/.<<

www.lectulandia.com-Página187

Page 188: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[13]Turque,«“Creative…Motivating”andFired».<<

www.lectulandia.com-Página188

Page 189: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[14]JackGillumyMarisolBello,«WhenStandardizedTestScoresSoaredinD.C.,Were the Gains Real?», USA Today, 30 de marzo de 2011,httpi//usatoday30.usatoday.com/news/education/2011-03-28-1Aschooltesting28_CV_N.htm.<<

www.lectulandia.com-Página189

Page 190: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[15]Ibid.<<

www.lectulandia.com-Página190

Page 191: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[16]Turque,«“Creative…Motivating”andFired».<<

www.lectulandia.com-Página191

Page 192: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[17]Ibid.<<

www.lectulandia.com-Página192

Page 193: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[18] David Waldstein, «Who’s on Third? In Baseball’s Shifting Defenses, MaybeNobody», New York Times, 12 de mayo de 2014,www.nytimes.com/2014/05/13/sports/baseball/whos-on-third-in-baseballs-shifting-defenses-maybe-nobody.html?_r=o.<<

www.lectulandia.com-Página193

Page 194: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[19]MichaelLewis,Moneyball:TheArtofWinninganUnfairGame(NuevaYork:W.W.Norton,2003).<<

www.lectulandia.com-Página194

Page 195: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[20]Manny Fernandez, «Texas Execution StayedBased onRace Testimony»,NewYork Times, 16 de septiembre de 2011, www.nytimes.com/2011/ 09/17/us/experts-testimony-on-race-Ied-to-stay-of-execution-in-texas.html?pagewanted=all.<<

www.lectulandia.com-Página195

Page 196: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[21]ibid.<<

www.lectulandia.com-Página196

Page 197: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[22]AlanBerlow,«SeeNoRacism,HearNoRacism:DespiteEvidence,PerryAboutto Execute Another Texas Man», National Memo, 15 de septiembre de 2011,www.nationalmemo.com/perry-might-let-another-man-die/.<<

www.lectulandia.com-Página197

Page 198: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[23] NAACP Legal Defense Fund, «Texas Fifth Circuit Rejects Appeal in Case ofDuane Buck», sitio web de NAACP LDF, 21 de agosto de 2015,www.naacpldf.org/update/texas-fifth-circuit-rejects-appeal-case-duane-buck.<<

www.lectulandia.com-Página198

Page 199: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[24]OpenFile,«TX:StudyFindsHarrisCountyProsecutorsSoughtDeathPenalty3-4Times More Often Against Defendants of Color», Open Fite, ProsecutorialMisconduct and Accountability, 15 de marzo de 3013, www,prosecutorialaccountalability.com/2013/03/15/tx-study-finds-harris-county-prosecutors-sought-death-penalty-3-4-times-more-often-against-defendants-of-color/.<<

www.lectulandia.com-Página199

Page 200: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[25] American Civil Liberties Union,Racial Disparities in Sentencing, Hearing onReports of Racism in the Justice System of the United States, presentado ante laComisiónInteramericanadeDerechosHumanos,sesión153.º,27deoctubrede2014,www.aclu.org/sites/default/files/assets141027_iachr_racial_disparities_aclu_submissioin_o.pdf.<<

www.lectulandia.com-Página200

Page 201: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[26] Federal Bureau of Prisons, sitio web de estadísticas,www.bop.gov/about/statistics/statistics_inmate_race.jsp [última consulta el 8 deenerode2016].<<

www.lectulandia.com-Página201

Page 202: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[27] Sonja Starr, «Sentencing, by theNumbers»,NewYorkTimes, 10 de agosto de2014,www.nytimes.com/2014/08/11/opinion/sentencing-by-the-numbers.html.<<

www.lectulandia.com-Página202

Page 203: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[28]ChristianHenrichsonyRuthDelaney,ThePriceofPrisons:WhatIncarcerationCosts Taxpayers (Nueva York: VERA Institute of Justice, 2011),www.vera.org/sites/default/files/resources/downloads/price-of-prisons-updated-version-021914.pdf.<<

www.lectulandia.com-Página203

Page 204: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[29]NewYorkCivilLibertiesUnion,«Stop-and-Frisk2011»,informedelaNYCLU,9 de mayo de 1012, www,nyclu.org/files/publications/NYCLU_2011_Stop-and-Frisk_Report.pdf.<<

www.lectulandia.com-Página204

Page 205: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[30]RhodeIslandDepartmentofCorrections,PlanningandResearchUnit,«LevelofService Inventory-Revised: A Portrait of RIDOC Offenders», abril de 2011,www.doc.ri.gov/administration/planning/docs/LSlNewsletterFINAL.pdf [últimaconsultael8deenerode2016].<<

www.lectulandia.com-Página205

Page 206: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[31] Center for Sentencing Initiatives, ResearchDivision,National Center for StateCourts,«UseofRiskandNeedsAssessmentInformationatSentencing:7thJudicialDistrict, Idaho», diciembre de 2013,www.ncsc.org/~/media/Microsites/Files/CSI/RNA%2oBrief%20-%207th%2oJudicial%20District%2oID%20csi.ashx[últimaconsultael8deenerode2016].<<

www.lectulandia.com-Página206

Page 207: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[32]Ibid.<<

www.lectulandia.com-Página207

Page 208: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[33] El LSI-R se utiliza en los siguientes veinticuatro estados según indican losdocumentos referenciados (lamayoría de ellos publicados por los correspondientesdepartamentos a cargo de las cárceles) [la última consulta de todos los enlaces serealizóel13deenerodea2016].

Alaska,www.correct.state.ak.us/pnp/pdf/902.03.pdf

Carolina del Norte,www.ncids.org/Reports%20&%20Data/Latest%20Releases/SentencingServicesContReview3-1-10.pdf

Colorado,www.doc.state.co.us/sites/default/files/phase_ii.pdf

Connecticut, www.ct.gov/opm/lib/opm/cjppd/cjabout/mainnav/risk_as-sessment_strategy.pdf

Dakota del Norte,www.nd.gov/docr/adult/docs/DOCR%2oPrograms%20Reference%2oGuide%20(Rev.96204-14).pdf

Dakota del Sur, https://doc.sd.gov/documents/about/policies/LSI-R%20Assessment%20and%20Case%20Planning.pdf

Delaware, https://ltgov.delaware.gov/traskforces/djrtf/DJRTFVOPAppendixBFINAL.pdf

Hawái, http://ag.hawaii.gov/cpja/files/2013/01/AH-UH-Mainland-Prison-Study-2011.pdf

Idaho,http://sentencing.isc.idaho.gov/

Illinois,www.illinotscourts.gov/supremecourt/annualreport/2012/adninsumm/admimstrative.pdf

Indiana, www.in.gov/idoc/files/CEBP_long_report(1).pdf y http://indiana-courts.us/times/2011/04/risk-assessment/

Iowa,http://publications.iowa.gov/13104/

Kansas,www.doc.ks.gov/kdoc-policies/AdultIMPP/chapter-14/14-111a/view

Maine,www.bja.gov/Funding/14SmartSup-MDOCapp.pdf

Maryland, www.justicepolicy.org/images/upload/09-03_rpt_mdparole_ac-md-ps-rd.pdf

www.lectulandia.com-Página208

Page 209: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

Minnesota, www.doc.state.mn.us/DocPolicy2/html/DPW_Display_TOC.asp?Opt=203.015.htm

Nebraska,www.uc,edu/content/dam/uc/ccjr/docs/vitas/VITA10_PVV.pdf

Nevada,www.leg.state.nv.us/74th/Exhibits/Assembly/JUD/AJUD77H.pdf

NuevoHampshire,www.nh.gov/nhdoc/policies/documents/6-33.pdf

Oklahoma,www.ok.gov/doc/documents/LSI-R%20White%20Paper.pdf

Pensilvania,http;//pacrimestats.info/PCCDReports/RelatedPublications/Publications/Publications/Pennsylvania%2oBoard%20of%20Probation%20and%2oParole/Ctr%2ofor%2oEffective%20Public%2oPolicy.pdf

Rhode Island, www.doc.ri.gov/admmlstration/planning/docs/LSlNewsletterFlNAL.pdf

Utah,http://ucjc.utah.edu/wp-content/uploads/LSI-ImpIementation-Report-final.pdf

Washington,http://static.nicic.gov/Library/019033.pdf<<

www.lectulandia.com-Página209

Page 210: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[34]CarolLloyd,«ImpossibleLoanTurnsDreamHomeintoNightmare»,SFGafe,15de abril de 2007,www:sfgate.com/business/article/lmpossible-loan-turns-dream-home-into-nightmare-2601880.php.<<

www.lectulandia.com-Página210

Page 211: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[35]Michael Powell, «BankAccused of PushingMortgageDeals onBlacks»,NewYorkTitnes,6dejuniode2009,www.nytimes.com/2009/06/07/us/o7baltimore.html.<<

www.lectulandia.com-Página211

Page 212: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[36]Ibid.<<

www.lectulandia.com-Página212

Page 213: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[37]lbid.<<

www.lectulandia.com-Página213

Page 214: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[38] Luke Broadwater, «Wells Fargo Agrees to Pay $175M Settlement in PricingDiscrimination Suit», Baltimore Sun, 12 de julio de 2012,http://articles.baltimoresun.com/2012-o7-12/news/bs-md-ci-wells-fargo-20120712_1_mike-heid-wells-fargo-home-mortgage-subprime-mortgages.<<

www.lectulandia.com-Página214

Page 215: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[39]RobertMorse,«TheBirthoftheCollegeRankings»,U.S.News,16demayode2008, www.usnews.com/news/national/articles/2008/05/16/the-birth-of-college-rankings.<<

www.lectulandia.com-Página215

Page 216: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[40] Julie Rawe, «A Better Way to Rank Colleges?», Time, 20 de junio de 2007,http://content.time.com/time/nation/article/0,8599,1635326,00.html.<<

www.lectulandia.com-Página216

Page 217: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[41]SaraRimer,«BaylorRewardsFreshmenWhoRetakeSAT»,NewYorkTimes,14deoctubrede2008,www.nytimes.com/2008/10/15/education/15baylor.html.<<

www.lectulandia.com-Página217

Page 218: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[42] Nick Anderson, «Five Colleges Misreported Data to U. S. News, RaisingConcerns About Rankings, Reputation»,Washington Post, 6 de febrero de 2013,www.washingtonpost.com/local/education/five-colleges-misreported-data-to-us-news-raising-concerns-about-rankings-reputation/2013/02/06/cb437876-6b17-11e2-af53-7b2b2a7510a8_story.html.<<

www.lectulandia.com-Página218

Page 219: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[43]RobertMorse,«IonaCollegeAdmitstoInflatingRankingsDatafor9Years»,U.S. News, 1 de diciembre de 2011, www.usnews.com/education/blogs/college-rankings-blog/2011/12/01/iona-college-admits-to-inflating-rankings-data-for-9-years.<<

www.lectulandia.com-Página219

Page 220: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[44]LoganWilson,«UniversityDropsinRankingfortheThirdTimeinaRow»,TCU360, 4 de septiembre de 2008, www.tcu360.com/story/university-drops-in-ranking-for-third-time-in-a-row-1287643/.<<

www.lectulandia.com-Página220

Page 221: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[45]Ibid.<<

www.lectulandia.com-Página221

Page 222: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[46]TCUleads,«U.S.News&WorldReportRankingsShowImprovementforTCU»,Itexas Christian University, 9 de septiembre de 2014,http://newsevents.tcu.edu/st0ries/u-s-news-world-report-rankings-show-improvement-for-tcu/[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página222

Page 223: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[47] Sean Silverthorne, «The Flutie Effect: How Athletic Success Boosts CollegeApplications», Forbes, 29 de abril de 2013,www.forbes.com/sites/hbsworkingknowledge/2013/04/29/the-flutie-effect-how-athletic-success-boosts-college-applications/.<<

www.lectulandia.com-Página223

Page 224: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[48]TCUleads,«U.S.News&WorldReportRankings».<<

www.lectulandia.com-Página224

Page 225: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[49]MichelleJamriskoeIlanKolet,«CollegeCostsSurge500%inU.S.Since1985:Chart of the Day», Bloomberg Business, 26 de agosto de 2013, www-bloomberg.com/news/artldes/2013-08-26/college-costs-surge-500-in-u-s-since-i985-chart-of-the-day.<<

www.lectulandia.com-Página225

Page 226: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[50] Ruffalo Noel Levitz, «ForecastPlus for Student RecruitmentTM»,www.ruffalonl.com/enrollment-management/enrollment-marketing-services-to-target-and-recruit-students/recruitment-technologies/forecast-plus-student-recruitment-predictive-modeling[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página226

Page 227: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[51]MeganMesserly,«CitationsforSale»,DailyCalifornian,5dediciembrede2014,www.dailycal.org/2014/12/05/citations-sale/.<<

www.lectulandia.com-Página227

Page 228: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[52] Malcolm Moore, «Riot after Chinese Teachers Try to Stop Pupils Cheating»,Telegraph, 20 de junio de 2013,www.telegraph.co.uk/news/worldnews/asia/china/10132391/Riot-after-Chinese-teachers-try-to-stop-pupils-cheating.html.<<

www.lectulandia.com-Página228

Page 229: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[53] Application Boot Camp, www.toptieradmissions.com/boot-camp/application-boot-camp/[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página229

Page 230: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[54] Peter Waldman, «How to Get into an Ivy League College-Guaranteed»,Bloomberg Businessweek, 4 de septiembre de 2014,www.bloomberg.com/news/articles/2014-09-04/how-to-get-into-an-ivy-league-college-guaranteed.<<

www.lectulandia.com-Página230

Page 231: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[55] Li Zhou, «Obama’s New College Scorecard Flips the Focus of Rarikings».Atlantic Monthly, 15 de septiembre de 2015,www,theatlantic.com/education/archive/2015/09/obamas-new-college-scorecard-flips-the-focus-of-rankings/405379/.<<

www.lectulandia.com-Página231

Page 232: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[56]DavidSegal,«IsLawSchoolaLosingGame?»,NewYorkTimes,8deenerode2011,www.nytimes.com/2011/01/09/business/09law.html.<<

www.lectulandia.com-Página232

Page 233: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[57]MeghanKelly«96PercentofGoogle’sRevenueIsAdvertising,WhoBuysIt?»,Venture Beat, 29 de enero de 1012, http://venturebeat.com/2012/01/29/google-advertising/.<<

www.lectulandia.com-Página233

Page 234: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[58] David Deming, Claudia Goldin y Lawrence Katz, «For-Profit Colleges»,PostsecondaryEducationintheUnitedStates,23(primaverade2013),pp.137-163,http://futureofchildren.org/futureofchildren/publications/journals/article/index.xml?journalid=79&articleid=584.<<

www.lectulandia.com-Página234

Page 235: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[59] Emily Jane Fox, «White House Crackdown on For-Profit Colleges BeginsToday»,CNN, 1 de julio de 2015, http://money.cnn.com/2015/07/01/pf/college/for-profit-colleges-debt/.<<

www.lectulandia.com-Página235

Page 236: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[60]MelodyPeterson,«StateSuesCorinthianColleges,Citing“Predatory”Tactics»,Orange County Register, 10 de octubre de 2013,www.ocregister.com/articles/company-530539-students-corinthian.html.<<

www.lectulandia.com-Página236

Page 237: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[61]CorinthianCollegesInc.,«CaliforniaAttorneyGeneralComplaintAllegationsvs,Facts»,http://files.shareholder.com/downloads/COCO/3283532602x0x709108/11BC55FD-BB6F-45DB-Bo82-5C6AEB6D8D30/CCi_Response_to_California_Attorney_General_Lawsuit.pdf[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página237

Page 238: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[62]MeganWoolhouse,«For-ProfitCollegesGetHarshGradesbyFormerStudents»,Boston Globe, 20 de octubre de 2014,www.bostonglobe.com/business/2014/10/19/high-debt-unfulfilled-dreams/Ku/DKIWiyRO5E5HDpRpSLRO/story.html.<<

www.lectulandia.com-Página238

Page 239: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[63]Review&Outlook,«Obama’sCorinthianKill,ReviewandOutlook»,WallStreetJournal, 15 de julio de 2014, www.wsj.com/articles/obamas-corinthian-Kill-1406327662.<<

www.lectulandia.com-Página239

Page 240: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[64]ShahienNasiripour,«CorinthianCollegesFilesforBankruptcy»,HuffingtonPost,4 de mayo de 2015, www.huffingtonpost.com/2015/05/04/corinthian-colleges-bankruptcy_n_7205344.html.<<

www.lectulandia.com-Página240

Page 241: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[65] SherylHarris, «For-ProfitCollegesProvideLesson inStrong-ArmSales: PlainDealing», cleveland.com, 4 de agosto de 2012,www.cleveland.com/consumeraffairs/index.ssf/2012/08/for-profit_colleges_provide_le.html.<<

www.lectulandia.com-Página241

Page 242: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[66] David Halperin, «What College Was Michael Brown About to Attend?»,HuffingtonPost,26deagostode2014,www.huffingtonpost.com/davidhalperin/what-college-was-michaeLb_5719731.html.<<

www.lectulandia.com-Página242

Page 243: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[67] Committee on Health, Education, Labor, and Pensions, «For-Profit HigherEducation; The Failure to Safeguard the Federal Investment and Ensure StudentSuccess»,SenateCommitteePrint,S.Prt.112-37,vol.1,30dejuliode2012,p.60,www.gpo.gov/fdsys/granule/CPRT-112SPRT74931/CPRT-112SPRT74931/content-detail.html.<<

www.lectulandia.com-Página243

Page 244: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[68]Capturadepantalla,realizadaporlaautora,deunanunciodeunpuestodetrabajoenmarketingenlíneapublicadoenLinkedIn.<<

www.lectulandia.com-Página244

Page 245: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[69]SharonaCoutts,«Bogus“ObamaMom”GrantsLureStudents»»ProPublica,23de julio de 2010, www.propublica.org/article/bogus-obama-niom-grants-lure-students.<<

www.lectulandia.com-Página245

Page 246: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[70] JennaLeventoff, «For-ProfitCollegesUnder Scrutiny for TargetingVulnerableStudents»,Equal Future, 6 de mayo de 2015, www.equalfuture.us/2015/05/06/for-profit-colleges-targeting-vulnerable-students/.<<

www.lectulandia.com-Página246

Page 247: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[71]DavidHalperin,«MoreScamWebsitestoLurethePoortoFor-ProfitColleges»,Huffington Post, 13 de noviembre de 2014,www.huffingtonpost.com/davidhalperin/more-scam-websites-to-lur_b_6151650.html.<<

www.lectulandia.com-Página247

Page 248: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[72]Coutts,«Bogus“ObamaMom”».<<

www.lectulandia.com-Página248

Page 249: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[73]USGovernmentAccountabilityOffice,«For-ProfitColleges:UndercoverTestingFinds Colleges Encouraged Fraud and Engaged in Deceptive and QuestionableMarketing Practices», GAO-10-948T, 4 de agosto de 2010,www.gao.gov/products/GAO-10-948T.<<

www.lectulandia.com-Página249

Page 250: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[74]MaraTuckenentrevistapersonalconlaautora,15dejuniode2015.<<

www.lectulandia.com-Página250

Page 251: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[75]CassieMagesis,entrevistatelefónicaconlaautora,16dejuniode2015.<<

www.lectulandia.com-Página251

Page 252: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[76] Howard Hotson, «Short Cuts», London Review of Books, 2 de junio de 2011,www.lrb.co.uk/v33/n11/howard-hotson/short-cuts.<<

www.lectulandia.com-Página252

Page 253: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[77]MikeDang, «For-ProfitCollegesStillTerrible»,Billfold, 1 de agosto de 2012,https.//thebillfold.com/for-profit-colleges-stili-terrible-7e3b5bd3442b#.4ti2e2y8o.<<

www.lectulandia.com-Página253

Page 254: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[78]RebeccaSchuman,«“ThisIsYourMoney”WhyFor-ProfitCollegesAretheRealWelfare Queens», Slate, 4 de junto de 2015,www.slate.com/articles/life/educatlon/2015/06/for_profit_colleges_and_federal_sid_they_get_more_than_90_percent_of_their.html.<<

www.lectulandia.com-Página254

Page 255: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[79]TamarLewin,«Government toForgiveStudentLoans atCorinthianColleges»,NewYorkTimes,8dejuniode1015,www.nytimes.com/2015/06/09/education/us-to-forgive-federal-loans-of-corinthian-college-students.html.<<

www.lectulandia.com-Página255

Page 256: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[80]RajeevDarolia,CoryKoedel,PacoMartorell,KatieWilsonyFranciscoPérez-Arce, «Do Employers Prefer Workers Who Attend For-Profit Colleges? Evidencefrom a Field Experiment», RAND Corporation, Santa Monica, California, 2014www.rand.org/pubs/working_papers/WR1054.html[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página256

Page 257: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[81] William Domhoff, «Wealth, Income, and Power», Who Rutes America?,http://whorulesamerica.net/power/wealth.html [publicado por primera vez enseptiembrede2005,actualizadoenfebrerode2013,últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página257

Page 258: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[82]JoshHarkinson,«TheNation’s10MostOverpaidCEOs»,MotherJones,12dejulio de 2012, www.motherjones.com/politics/2012/07/executive-pay-america-top-10-overpaid-ceo.<<

www.lectulandia.com-Página258

Page 259: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[83]GwenIfillyAndrewSchmertz,«FightingtheDebtTrapofTripie-DigitInterestRate Payday Loads», PBS Newshour, 6 de enero de 2016,vww.pbs.org/newshour/bb/fighting-the-debt-trap-of-triple-digit-interest-rate-payday-loans/.<<

www.lectulandia.com-Página259

Page 260: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[84] Lindsay Wise, «Feds Charge Data Broker with Selling Consumer Info toScammers», McClatchyDC, 12 de agosto de 2015,www.mcclatchydc.com/news/nation-world/national/article30862680.html.<<

www.lectulandia.com-Página260

Page 261: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[85]RobEngle,«TheGuilded[sic]AgeinReadingPennsylvania»,HistoricalReviewof Berks County, verano de 2,005, www.berkshifrtory.org/multimedia/articies/the-guilded-age-in-reading-pennsylvania/.<<

www.lectulandia.com-Página261

Page 262: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[86]SabrinaTavernise,«Reading,Pa.,KnewItWasPoor,NowItKnowsJustHowPoor», New York Times, 26 de septiembre de 2011,www.nytimes.com/2011/09/27/us/reading-pa-tops-list-poverty-list-census-shows.html.<<

www.lectulandia.com-Página262

Page 263: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[87]StevenHenshaw,«HomicidesinReadingRise,OtherCrimesDown,PoliceSay»,Reading Eagle, 30 de agosto de 2015,www.readingeagle.com/news/article/homicides-m-reading-rise-other-crimes-down-police-say.<<

www.lectulandia.com-Página263

Page 264: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[88]JulianaReyes.«PhillyPoliceWillBeFirstBigCityCopstoUseAzavea’sCrimePredicting Software», Technically Philly, 7 de noviembre de 2013,http://technical.ly/philly/2013/11/07/azavea-philly-police-crime-prediction-software/.<<

www.lectulandia.com-Página264

Page 265: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[89]NateBerg, «PredictingCrime,LAPD-Style»,Guardians, 25 de junio de 2014,www.theguardian.cojm/cities/2014/jun/25/predicting-crime-lapd-los-angeles-police-data-analysis-algorithm-minority-report.<<

www.lectulandia.com-Página265

Page 266: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[90] Jeff Brantingham, responsable de investigación y desarrolio de PredPol,entrevistatelefónicaconlaautora,3defebrerode2015.<<

www.lectulandia.com-Página266

Page 267: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[91] George Kelling y James Wilson, «Broken Windows: The Police andNeighborhood Safety», Atlantic Monthly, marzo de 1982,www.theatlantic,com/magazine/archive/1982/03/broken-windows/304465/.<<

www.lectulandia.com-Página267

Page 268: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[92]JudithGreene,«ZeroTolerance:ACaseStudyofPolicePoliciesandPracticesinNew York City», Crime and Delinquency 45 (abril de 1999), pp. 171-187,doi:10.1177/0011128799045002001.<<

www.lectulandia.com-Página268

Page 269: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[93]StevenLevittyStephenDubner,Freakonomics:ARogueEconomistExplorestheHiddenSideofEverything(NuevaYork:WilliamMorrow,2005).<<

www.lectulandia.com-Página269

Page 270: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[94]Berg,«PredictingCrime,LAPD-Style».<<

www.lectulandia.com-Página270

Page 271: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[95] Kent Police, «PredPol Operational Review», 2014,www.statewatch.org/docbin/uk-2014-kent-police-predpol-op-review.pdf.<<

www.lectulandia.com-Página271

Page 272: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[96] Jeffrey Bellin, «The Inverse Relationship between the Constitutionality andEffectivenessofNewYorkCity“StopandFrisk”»,BostonUniversityLawReview94(6 de mayo de 2014): 1495, artículo de investigación de la Facultad de DerechoWilliamandMaryLawSchooln.º09-274,http://ssrn.com/abstract=2413935.<<

www.lectulandia.com-Página272

Page 273: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[97] Ryan Devereaux, «Scrutiny Mounts as NYPD “Stop-and-Frisk” Searches HitRecord High», Guardian, 14 de febrero de 2012,www.theguardian.com/world/2012/feb/14/nypd-stop-frisk-record-high.<<

www.lectulandia.com-Página273

Page 274: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[98]DavidGoodmanyAlBaker,«MurdersinNewYorkDroptoaRecordLow,butOfficers Aren’t Celebrating», New York Times, 31 de diciembre de 2014,www.nytimes.com/2015/01/01/nyregion/new-york-city-murders-fafl-but-the-police-arent-celebratinghtm.<<

www.lectulandia.com-Página274

Page 275: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[99] Jason Oberholtzer, «Stop-and-Frisk by the Numbers», Forbes, 17 de julio de2012, www.forbes.com/sites/jasonoberholtzer/2012/07/17/stop-and-frisk-by-the-numbers/.<<

www.lectulandia.com-Página275

Page 276: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[100]EricT.Schneiderman, «AReport onArrestsArising from theNewYorkCityPolice Department’s Stop-and-Frisk Practices», New York State Office of theAttorney General, Civil Rights Bureau, noviembre de 2013,www.ag.ny.gov/pdfs/OAG_REPORT_ON_SQF_PRACTICES_NOV_2013.pdf.<<

www.lectulandia.com-Página276

Page 277: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[101]«TheBronxDefendersHailsTodays“StopandFrisk”DecisionbyFederalJudgeScheindlin»,BronxDefenders,12deagostode2013,www.bronxdefenders.org/the-bronx-defenders-hails-todays-stop-and-frisk-decision-by-federal-judge-scheindlin/.<<

www.lectulandia.com-Página277

Page 278: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[102]Ibid.<<

www.lectulandia.com-Página278

Page 279: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[103]AdamBenforado,Unfair:TheNewScienceofCriminalInjustice(NuevaYork:Crown,2015).<<

www.lectulandia.com-Página279

Page 280: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[104] Peter Kerwin, «Study Finds Private Prisons Keep Inmates Longer, WithoutReducing Future Crime»,University of Wisconsin-Madison News, 10 de junio de2015, http://news,wisc.edu/study-finds-private-prisons-keep-inmates-longer-without-reducing-future-crime/.<<

www.lectulandia.com-Página280

Page 281: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[105]JuliaBowling,«DoPrivatePrisonContractsFuelMassIncarceration?»,BrennanCenterforJusticeBlog,20deseptiembrede2013,www.brennancenter.org/blog/do-private-prison-contracts-fuel-mass-incarceration.<<

www.lectulandia.com-Página281

Page 282: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[106] Allison Schrager, «In America, Mass Incarceration Has Caused More CrimeThanIt’sPrevented»,Quartz,22dejuliode2015,http://qz.com/458675/in-america-mass-incarceration-has-caused-more-crime-than-its-prevented/.<<

www.lectulandia.com-Página282

Page 283: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[107]TimothyWilliams,«FacialRecognitionSoftwareMovesfromOverseasWarstoLocal Police», New York Times, 12 de agosto de 2015,www.nytimes.com/2015/08/13/us/facial-recognition-software-moves-from-overseas-wars-to-local-police.html.<<

www.lectulandia.com-Página283

Page 284: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[108] Anthony Rivas, «Boston Police Used Facial Recognition Software onConcertgoers;Will It Really Stop Suspicious Activity or Just Encroach upon OurRights?», Medical Daily, 18 de agosto de 2014, www.medicaldaily.com/boston-police-used-facial-recognition-software-concertgoers-will-it-really-stop-suspicious-298540.<<

www.lectulandia.com-Página284

Page 285: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[109]MattStroud, «TheMinorityReport;Chicago’sNewPoliceComputerPredictsCrimes, but Is It Racist?», Verge, 19 de febrero de 2014, www-theverge.com/2014/2/19/5419854/the-minority-report-this-computer-predicts-crime-but-is-it-racist.<<

www.lectulandia.com-Página285

Page 286: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[110]Ibid.<<

www.lectulandia.com-Página286

Page 287: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[111]Ibid.<<

www.lectulandia.com-Página287

Page 288: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[112]LaurenWeberyElizabethDwoskin,«AreWorkplacePersonalityTestsFair?»,WallStreetJournal29deseptiembrede2014,www.wsj.com/articles/are-workplace-personality-tests-fair-1412044257.<<

www.lectulandia.com-Página288

Page 289: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[113]RolandBehm,entrevistatelefónicaconlaautora,1deabrilde2015.<<

www.lectulandia.com-Página289

Page 290: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[114]WeberyDwoskin,«AreWorkplacePersonalityTestsFair?».<<

www.lectulandia.com-Página290

Page 291: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[115]ADANationalNetwork;«WhatLimitationsDoes theADAImposeonMedtcalExaminations and inquiries About Disability?», https://adata.org/faq/what-limitations-does-ada-impose-medical-examinations-and-inquiries-about-disability[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página291

Page 292: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[116] «Kronos History: The Early Years», sitio web de Kronos,www.kronos.com/about/history.aspx[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página292

Page 293: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[117]«WorkforceReadyHR»,sitiowebdeKronos,www.kronos.com/products/smb-solutions/workforce-ready/products/hr.aspx [últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página293

Page 294: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[118]WeberyDwoskin,«AreWorkplacePersonalityTestsFair?».<<

www.lectulandia.com-Página294

Page 295: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[119]Ibid.<<

www.lectulandia.com-Página295

Page 296: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[120]NAACPLegalDefenseFund, «Case:Landmark:Griggs v.DukePowerCo.»,sitioweb deNAACPLDF,www.naacpldf.org/case/griggs-v-duke-power-co [últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página296

Page 297: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[121] Whitney Martin, «The Problem with Using Personality Tests for Hiring»,Harvard Business Review, 27 de agosto de 2014, https://hbr.org/2014/08/the-problem-with-using-personality-tests-for-hiring.<<

www.lectulandia.com-Página297

Page 298: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[122]RolandBehm,entrevistatelefónicaconlaautora,1deabrilde2015.<<

www.lectulandia.com-Página298

Page 299: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[123]WeberyDwoskin,«AreWorkplacePersonalityTestsFair?».<<

www.lectulandia.com-Página299

Page 300: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[124] Lauren Weber, «Better to Be Artistic or Responsible? Decoding WorkplacePersonality Tests», Wall Street Journal, 29 de septiembre de 2014,http://blogs.wsj.com/atwork/2014/09/29/better-to-be-artistic-or-responsible-decoding-workplace-personality-tests/.<<

www.lectulandia.com-Página300

Page 301: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[125]Sí,esciertoquemuchosestudiantespreuniversitariostrabajanduranteunpardeveranos en empleos donde reciben el salario mínimo, pero si tienen una malaexperiencia en estos trabajos o si unADMarbitraria los juzgamal, la vivencia nohacemásquereforzarelmensajedequeloquedebenhacerescentrarseenestudiaryolvidarsedeesoshorriblestrabajos.<<

www.lectulandia.com-Página301

Page 302: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[126] Marianne Bertrand, «Racial Bias in Hiring: Are Emily and Brendan MoreEmployable Than Lakisha and Jamal?», Research Highlights from the ChicagoGraduate School of Business 4, n.º 4 (2003),www.chicagobooth.edu/capideas/springo3/racialbias.html.<<

www.lectulandia.com-Página302

Page 303: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[127]CurtRice,«HowBlindAuditionsHelpOrchestras toEliminateGenderBias»,Guardian, 14 de octubre de 2013, www.theguardian,com/women-in-leadership/2013/oct/14/blind-auditions-orchestras-gender-blas.<<

www.lectulandia.com-Página303

Page 304: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[128]MonaAbdel-Halim,«12WaystoOptimizeYourResumeforApplicantTrackingSystems»,Mashable,27demayode2012,http://mashable.com/2012/05/27/

resume-tracking-systems/.<<

www.lectulandia.com-Página304

Page 305: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[129]Ibid.<<

www.lectulandia.com-Página305

Page 306: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[130] Stella Lowry y Gordon MacPherson, «A Blot on the Profession», BritishMedicalJournal296(5demarzode1988),pp.657-658.<<

www.lectulandia.com-Página306

Page 307: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[131]HeatherBousheyySarahJaneGlynn,«ThereAreSignificantBusinessCoststoReplacing Employees», American Progress, 16 de noviembre de 2012,www.americanprogress.org/issues/labor/report/2012/11/16/44464/there-are-significant-biasiness-costs-to-replacing-employees/.<<

www.lectulandia.com-Página307

Page 308: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[132] Jessica Leber, «TheMachine-ReadableWorkforce:CompaniesAreAnalyzingMoreDatatoGuideHowTheyHire,Recruit,andPromoteTheirEmployees»,MITTechnology Review, 27 de mayo de 2013,www.technologyreview.com/news/514901/the-machine-readable-workforce/.<<

www.lectulandia.com-Página308

Page 309: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[133]JeanneMeister,«2015:SocialHRBecomesAReality»,Forbes,5deenerode2015, www.forbes.com/sites/jeannemeister/2015/01/05/2015-sodal-hr-becomes-a-reality/.<<

www.lectulandia.com-Página309

Page 310: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[134] Don Peck, «They’reWatchingYou atWork»,AtlanticMonthly, diciembre de2013, www.theatlantic.com/magazine/archive/2013/12/theyre-watching-you-at-work/354681/.<<

www.lectulandia.com-Página310

Page 311: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[135] Jodi Kantor, «Working Anything but 9 to 5: Scheduling Technology LeavesLow-IncomeParentswithHonrsofChaos»,NewYorkTimes,13deagostode2014,www.nytimes.com/interactive/2014/08/13/us/starbucks-workers-scheduling-hours.html?_r=o.<<

www.lectulandia.com-Página311

Page 312: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[136] Jodi Kantor, «Starbucks to Revise Policies to End Irregular Schedules for Its130,000 Baristas», New York Times, 14 de agosto de 2014,www.nytimes.com/2014/08/15/us/starbucks-to-revise-work-scheduling-policies.html.<<

www.lectulandia.com-Página312

Page 313: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[137] JustineHofherr, «StarbucksEmployees Still Face “Clopening”,Uhderstaffing,and Irregular Workweeks», Boston.com, 24 de septiembre de 2015,www.boston.com/jobs/news/2015/09/24/starbucks-employees-still-face-clopening-understaffing-and-irregular-workweeks/FgdhbalfQqC2p1WLaQm2SK/story.html.<<

www.lectulandia.com-Página313

Page 314: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[138]WilliamFergusonStory,«AShortHistoryofOperationsResearchintheUnitedStatesNavy»,tesisdemáster,NavalPostgraduateSchool,diciembrede1968,https://archive.org/details/shorthistoryofopoostor.<<

www.lectulandia.com-Página314

Page 315: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[139]USCongress,OfficesofTechnologyAssessment,AHistoryof theDepartmentofDefenseFederallyFundedResearchandDevelopmentCenters,OTA-BP-ISS-157(Washington D. C: US Government Printing Office, junio de 1995),www.princeton.edu/-ota/didsk1/1995/9501/9501.PDF.<<

www.lectulandia.com-Página315

Page 316: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[140] John Holusha, «“Just-In-Time” System Cuts Japan’s Auto Costs»,New YorkTimes, 25 de marzo de 1983, www.nytimes.com/1983/03/25/business/just-in-time-system-cuts-japan-s-auto-costs.html.<<

www.lectulandia.com-Página316

Page 317: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[141]LeilaMorayyRichardRothstein,«Parents’Non-standardWorkSchedulesMakeAdequateChildrearingDifficult». Economic Policy Institute, 6 de agosto de 2015,www.epi.org/publication/parents-non-standard-work-schedules-make-adequate-childrearing-difficult-reforming-labor-market-practices-can-improve-childrens-cognitive-and-behavioral-outcomes/.<<

www.lectulandia.com-Página317

Page 318: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[142] H.R. 5159 —Schedules That Work Act, 113.º Congreso (2013-2014),www.congress.gov/bill/113th-congress/house-bill/5159 [última consulta el 10 deenerode2016].<<

www.lectulandia.com-Página318

Page 319: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[143] Stephen Baker, «Data Mining Moves to Human Resources», BloombergBusinessweek, 11 de marzo de 2009, www.bloomberg.com/bw/stories/2oo9-o3-11/data-mining-moves-to-human-resources.<<

www.lectulandia.com-Página319

Page 320: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[144] JoshuaRothman,«BigDataComes to theOffice»,NewYorker, 3 de juniode2014,www.newyorker.com/books/joshua-rothman/big-data-comes-to-the-office.<<

www.lectulandia.com-Página320

Page 321: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[145] National Commission on Excellence in Education, A Nation at Risk; TheImperative for Educational Reform (Washington D. C.: National Commission onExcellenceinEducation,1983),www2.ed.gov/pubs/NatAtRisk/index.html.<<

www.lectulandia.com-Página321

Page 322: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[146]TimClifford,«ChartingtheStagesofTeacherDataReportGrief»,WNYC-FM,9 de marzo de 2012, www.wnyc.org/story/302123-charting-the-stages-of-teacher-data-report-grief/.<<

www.lectulandia.com-Página322

Page 323: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[147]TimClifford, entrevistapor correoelectrónicocon la autora,13demar zode2014.<<

www.lectulandia.com-Página323

Page 324: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[148]TamimAnsary,«EducationatRisk:FalloutfromaFlawedReport»,Edutopia,9demarzode2007,www.edutopia.org/landmark-education-report-nation-risk.<<

www.lectulandia.com-Página324

Page 325: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[149]CliffordWagner,«Simpson’sParadox inRealLife»,AmericanStatistician 36,n.º1(1982),pp.46-48.<<

www.lectulandia.com-Página325

Page 326: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[150]GaryRubinstein, «AnalyzingReleasedNYCValue-AddedDataPart 2»,GaryRubinstein’s Blog, 28 de febrero de 2012,https://garyrubinstein.wordpress.com/2012/02/28/analyzing-released-nyc-value-added-data-part-2/.<<

www.lectulandia.com-Página326

Page 327: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[151]Lassancionesdelaley«Queningúnniñosequedeatrás»ofrecíanalosalumnosdeescuelasdeficienteslaopcióndeasistiraotrasdemayoréxito.Encasosgraves,laleyexigíaelcierredelaescueladeficienteysusustituciónporunaconcertada.<<

www.lectulandia.com-Página327

Page 328: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[152]JulieHirschfeldDavis,«PresidentObamaSignsintoLawaRewriteofNoChildLeft Behind», New York Times, 10 de diciembre de 2015,www.nytimes.com/2015/12/11/us/politics/president-obam-signs-into-law-a-rewrite-of-no-child-left-behind.html.<<

www.lectulandia.com-Página328

Page 329: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[153]YoavGonenyCarlCampanile,«CuomoVacktracksonCommonCore,Wants4-Year Moratorium», New York Post, 10 de diciembre de 2015,http;//nypost.com/2015/12/10/cuomo-backtracks-on-common-core-wants-4-year-moratorium/.<<

www.lectulandia.com-Página329

Page 330: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[154]ElizabethHarris,«20%ofNewYorkStateStudentsOptedOutofStandardizedTests This Year», New York Times, 12 de agosto de 2015,www.nytimes.com/2015/08/13/nyregion/new-york-state-students-standardized-tests.html.<<

www.lectulandia.com-Página330

Page 331: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[155]TimClifford,entrevistaporcorreoelectrónicoconlaautora,15dediciembrede2015.<<

www.lectulandia.com-Página331

Page 332: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[156] Emma Brown, «Education Researchers Caution Against Using Students’ TestScores to Evaluate Teachers», Washington Post, 12 de noviembre de 2015,www.washingtonpost.com/local/education/education-researchers-caution-against-using-value-added-models-ie-test-scores-to-evaluate-teachers/2015/11/12/72b6b45c-8950-11e5-be39-0034bb576eee_story.html.<<

www.lectulandia.com-Página332

Page 333: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[157]«DoWeStillNeedtheEqualCreditOpportunityAct?»,documentodetrabajo,PaymentCardsCenter,FederalReserveBankofPhiladelphia, septiembrede2012,https://ideas.repec.org/p/fip/fedpdp/12-03.html.<<

www.lectulandia.com-Página333

Page 334: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[158]Ibid.<<

www.lectulandia.com-Página334

Page 335: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[159]MarthaPoon,«ScorecardsasDevices forConsumerCredit:TheCaseofFair,Isaac&CompanyIncorporated»,SociologicalReview55(octubrede2007),pp.284-306,doicio.1111/j.1467-954X.2007.007400.x.<<

www.lectulandia.com-Página335

Page 336: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[160]SitiowebdeFICO,www.myfico.com/CreditEducation/ImproveYourScore.aspx[últimaconsultael10deenerode2016].<<

www.lectulandia.com-Página336

Page 337: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[161] Free Credit Reports, Federal Trade Commission, Consumer Information,www.consumer.ftc.gov/articles/0155-free-credit-reports [última consulta el 10 deenerode2016].<<

www.lectulandia.com-Página337

Page 338: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[162]NatashaSinger,«SecretE-ScoresChartConsumers’BuyingPower»,NewYorkTimes, 18 de agosto de 2012, www.nytimes.com/2012/08/19/business/electronic-scores-rank-consumers-by-potential-value.html.<<

www.lectulandia.com-Página338

Page 339: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[163]EmilySteelyJuliaAngwirt,«OntheWeb’sCuttingEdge,AnonymityinNameOnly», Wall Street Journal, 4 de agosto de 2010,www.wsj.com/news/articles/SB10001424052748703294904575385532109190198.<<

www.lectulandia.com-Página339

Page 340: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[164]SitiowebCreditScoreDating.com,http://creditscoredating.com/[últimaconsultael10deenerode2016].<<

www.lectulandia.com-Página340

Page 341: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[165] Gary Rivlin, «The Long Shadow of Bad Credit in a Job Search»,New YorkTimes,11demayode2013,www.nytimes.com/2013/05/12/business/employers-pull-applicants-credit-reports.html.<<

www.lectulandia.com-Página341

Page 342: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[166] Amy Traub, «Discredited: How Employment Credit Checks Keep QualifiedWorkers Out of a Job», Demos, febrero de 2013,www.demos.org/sites/default/files/publications/Discredited-Demos.pdf.<<

www.lectulandia.com-Página342

Page 343: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[167]ChristinaLaMontagne,«NerdWalletHealthFindsMedicalBankruptcyAccountsfor Majority of Personal Bankruptcies», NerdWallett 26 de marzo de 2014,www.nerdwallet.com/blog/health/medical-costs/medical-bahkruptcy/.<<

www.lectulandia.com-Página343

Page 344: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[168]TamiLubby,«TheBlack-WhiteEconomicDividein5Charts»,CNNMoney,25de noviembre de 2015, http://money.cnn.com/2015/11/24/news/economy/blacks-whites-inequality/.<<

www.lectulandia.com-Página344

Page 345: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[169]RakeshKochhar,RichardFryyPaulTaylor,«WealthGapsRisetoRecordHighsBetweenWhites, Blacks,Hispanics: Twenty-to-One», PewResearchCenter, 26 dejulio de 2011, www.pewsocialtrends.org/2011/07/26/wealth-gaps-rise-to-record-highs-between-whites-blacks-hispanics/.<<

www.lectulandia.com-Página345

Page 346: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[170] National Conference of State Legislatures, «Use of Credit Information inEmployment 2013 Legislation», sitio web de NCSL,www.ncsl.org/research/financial-services-and-commerce/use-of-credit-info-in-employ-2013-legis.aspx[actualizadoel29deseptiembrede2014].<<

www.lectulandia.com-Página346

Page 347: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[171] Federal Trade Commission, «In FTC Study, Five Percent of Consumers HadErrors on Their Credit Reports That Could Result in Less Favorable Terms forLoans»,sitiowebdelaFTC,11defebrerode2013,www.ftc.gov/news-events/press-releases/2013/02/ftc-study-five-percent-consumers-had-errors-their-crediit-reports.<<

www.lectulandia.com-Página347

Page 348: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[172] Debo añadir que rectificar estos errores puede convertirse en una pesadilla.PatriciaArmour,queviveenelestadodeMisisipi,tardódosañosenconseguirqueExperian eliminara de su expediente una deuda de 40.000 dólares que ya habíapagado.TuvoquellamaralfiscalgeneraldelestadodeMisisipiyhablarconelNewYorkTimesparaconseguirqueExperiancorrigierasuhistorial.(GretchenMorgenson,«HeldCaptive by FlawedCredit Reports»,New York Times, 21 de junio de 2014,www.nytimes.com/2014/06/22/business/held-captive-by-flawed-credit-reports.html.)<<

www.lectulandia.com-Página348

Page 349: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[173]JoePalazzoloyGaryFields,«FightGrowstoStopExpungedCriminalRecordsLiving On in Background Checks», Wall Street Journal 7 de mayo de 2015,www.wsj.com/articles/fight-grows-to-stop-expunged-criminal-records-living-on-in-background-checks-1430991002.<<

www.lectulandia.com-Página349

Page 350: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[174]OfficeofOversightandInvestigations,«AReviewoftheDataBrokerIndustry:Collection,Use,andSaleofConsumerDataforMarketingPurposes»,CommitteeonCommerce, Science, and Transportation, 18 de diciembre de 2013,http://educationnewyork-com/files/rockefeller_databroker.pdf.<<

www.lectulandia.com-Página350

Page 351: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[175] Ylan Q. Mui, «Little-Known Firms Tracking Data Used in Credit Scores»,Washington Post, 16 de julio de 2011,www.washingtonpost.com/business/economy/little-known-firms-tracking-data-used-in-credit-scores/2011/05/24/gIQAXHcWII_story.html.<<

www.lectulandia.com-Página351

Page 352: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[176] Stephen Baker, «After “Jeopardy”», Boston Globe, 15 de febrero de 2011,www.boston.com/bostonglobe/editorial_opinion/oped/articles/2011/02/15/after_jeopardy/.<<

www.lectulandia.com-Página352

Page 353: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[177] Alistair Barr, «Google Mistakenly Tags Black People as “Gorillas” ShowingLimits of Algorithms», Wall Street Journal, 1 de julio de 2015,http://blogs.wsj.com/digits/2015/07/01/google-mistakenly-tags-black-people-as-gorillas-showing-limits-of-algorithms/.<<

www.lectulandia.com-Página353

Page 354: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[178] RobinsonMeyer, «Could a Bank Deny Your Loan Based on Your FacebookFriends?», Atlantic Monthly, 25 de septiembre de 2015,www.theatlantic.com/technology/archive/2015/09/fecebooks-new-patent-and-digital-redlining/407287/.<<

www.lectulandia.com-Página354

Page 355: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[179]RonLieber,«AmericanExpressKepta(Very)WatchfulEyeonCharges»,NewYorkTimes,30deenerode2009,www.nytimes.com/2009/01/31/your-money/credit-and-debit-cards/31money.html.<<

www.lectulandia.com-Página355

Page 356: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[180]SteveLohr,«BigDataUnderwritingforPaydayLoans»,NewYorkTimes,19deenero de 2015, http://bits.blogs.nytimes.com/2015/01/19/big-data-underwnting-for-payday-loans/.<<

www.lectulandia.com-Página356

Page 357: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[181]SitiowebdeZestFanance.com,www.zestfinance.com/[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página357

Page 358: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[182]Lohr,«BigDataUnderwriting».<<

www.lectulandia.com-Página358

Page 359: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[183]MichaelCarney,«Flushwith$20MfromPeterThiel,ZestFinanceIsMeasuringCredit Risk Through Non-traditional Big Data», Pando, 31 de julio de 20131https://pando.com/2013/o7/31/flush-with-20m-from-peter-thiel-zestfinance-is-measuring-credit-risk-through-non-traditional-big-data/.<<

www.lectulandia.com-Página359

Page 360: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[184] Richard MacManus, «Facebook App, Lending Club, Passes Half a MillionDollars in Loans», Readwrite, 29 de julio de 2007,http://readwrite.com/2007/07/19/facebook_app_lending_club_passes_half_a_million_in_loans.<<

www.lectulandia.com-Página360

Page 361: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[185]LendingClub, «LendingClubCompletes $6ooMillion.SECRegistration andOffersNewAlternativeforConsumerCredit»,LendingClub,14deoctubrede2008,http://blog.lendingdub.com/lending-club-sec-registration/.<<

www.lectulandia.com-Página361

Page 362: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[186]PeterRenton,«FivePredictionsfor2015»,LendAcademy,5deenerode2015,www.lendacademy.com/five-predictions-2015/.<<

www.lectulandia.com-Página362

Page 363: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[187] Nav Alhwal, «The Disappearance of Peer-to-Peer Lending», Forbes, 14 deoctubrede2014,www.forbes.com/sites/groupthink/2014/10/14/the-disappearance-of-peer-to-peer-lending/.<<

www.lectulandia.com-Página363

Page 364: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[188]Maureen Farrell, «Wells Fargo Is a BigWinner in Lending Club IPO»,WallStreet Journal, 12 de diciembre de 2014,http://blogs.wsj.com/moneybeat/2014/12/12/wells-fargo-is-a-big-winner-in-lending-dub-ipo/.<<

www.lectulandia.com-Página364

Page 365: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[189] Neha Dimri, «Update 1—Online Lender LendingClub Profit Beats Street asFeesJump»,Reuters,5mayode2015,www.renters.com/article/lendingdclub-results-idUSL4NoXW4HO20150505.<<

www.lectulandia.com-Página365

Page 366: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[190]Athwal,«DisappearanceofPeer-To-PeerLending».<<

www.lectulandia.com-Página366

Page 367: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[191] Megan Wolff, «The Myth of the Actuary: Life Insurance and Frederick L.Hoffman’s “Race Traits and Tendencies of the American Negro”». Public HealthReports 121, n.º 1 (enero-febrero de 2006), pp. 84-91,www.ncbi.nlm.nih.gov/pmc/articles/PMC1497788/.<<

www.lectulandia.com-Página367

Page 368: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[192]GregorySquires,«InsuranceRedlining;StillFact,NotFictions»Skelterforce79(enero-febrerode1995),www.nhi.org/online/issues/79/isurred.html.<<

www.lectulandia.com-Página368

Page 369: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[193] Fair Housing Laws and Presidential Executive Orders, US Departmant ofHousing and Urban Development, http://portal.hud.gov/hudportal/HUD?src=/program_offices/fair_housing_equal_opp/FHLaws [última consulta el 9 deenerode2016].<<

www.lectulandia.com-Página369

Page 370: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[194]ChrisLewin,«TheCreationofActuarialScience»,ZentralblattfürDidaktikderMathematik 33,n.º 2 (abril de 2001), pp. 61-66,http://link,springer.com/article/10.007%2FBF02652740.<<

www.lectulandia.com-Página370

Page 371: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[195]MargaretdeValois,«WhoWasCaptainJohnGraunt?»,Actuary,septiembrede2ooo, pp. 38-39, www.thcactuary.com/archive/old-article/part-3/who-was-captain-john-graunt-3F/.<<

www.lectulandia.com-Página371

Page 372: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[196]JohnGraunt,BillsofMortality(1662),www.neanatology.org/pdf/graunt.pdf.<<

www.lectulandia.com-Página372

Page 373: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[197]DeValois,«WhoWasCaptainJohnGraunt?».<<

www.lectulandia.com-Página373

Page 374: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[198] «The Truth About Car Insurance», Consumer Reports, informe especial,www.consumerreports.org/cro/car-insurance/auto-insurance-special-report\index,htm[últimaconsultael10deenerode2016].<<

www.lectulandia.com-Página374

Page 375: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[199]JeffBlyskal,«SecretsofCarInsurancePrices»,ConsumerReportsm30dejuliode 2015, www.consumerreports.org/cro/magazine/2015/07/car-insurance-prices/index.htm.<<

www.lectulandia.com-Página375

Page 376: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[200] Don Jergler, «PriceOptimizationAllegationsChallenged,NAIC InvestigatingPractice», Insurance Journal, 18 de diciembre de 2014,www.insurancejournal.com/news/national/2014/12/18/350630.htm.<<

www.lectulandia.com-Página376

Page 377: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[201]«CFARipsAllstate’sAutoInsurancePricing»,CorporateCrimeReporter,16dediciembre de 2014, www.corporatecrimereporter.com/news/200/cfa-rips-allstates-auto-insurance-pricing-policy/.<<

www.lectulandia.com-Página377

Page 378: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[202] Ellen Jean Hirst, «Allstate, Other Insurers Accused of Unfairly PricingPremiums», Chicago Tribune, 16 de diciembre de 2014,www.chicagotribune.com/business/ct-allstate-insurance-risk-premiums-1217-biz-20141216-story.html.<<

www.lectulandia.com-Página378

Page 379: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[203]MitchLipka, «Watchdog;AllstateAuto InsurancePricingScheme IsUnfair»,DailyFinance,16dediciembrede2014,www.dailyfinance.com/2014/12/16/allstate-auto-insurance-pricing-scheme-unfair/.<<

www.lectulandia.com-Página379

Page 380: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[204]«ConsumerReportsDigsintoCarInsuranceQuoteSecrecy,PricesAreRifewithInequities and Unfair Practices», Clarksville Online, 6 de agosto de 2015,www.clarksvilleonline.com/2015/08/06/consumer-reports-digs-into-car-insurance-quote-secrecy-prices-are-rife-with-inequities-and-unfair-practices/.<<

www.lectulandia.com-Página380

Page 381: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[205]DavidMorris,«There’sPressure in the Industry toMonitorTruckDrivers-andDrivers Aren’t Happy», Fortune, 26 de mayo de 1015,http.//fortune.com/2015/05/26/driver-facing-truck-cameras/.<<

www.lectulandia.com-Página381

Page 382: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[206]CentersforDiseascControlandPrevention,«CrashesAretheLeadingCauseofon-the-JobDeathforTruckDriversintheUS»,comunicadodeprensa,3demarzode2015,www.cdc.gov/media/releases/2015/p0303-truck-driver-safety.html.<<

www.lectulandia.com-Página382

Page 383: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[207]Morris,«There’sPressure».<<

www.lectulandia.com-Página383

Page 384: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[208]KarenLevy,«ToFightTruckerFatigue,FocusonEconomics,NotElectronics»,LosAngelesTimes,15deJuliode2014,www.latimes.com/opinion/op-ed/la-oe-levy-trucker-fatigue-20140716-story.html.<<

www.lectulandia.com-Página384

Page 385: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[209] Mark Chalon Smith, «State Farm’s In-Drive Discount: What’s the Catch?»,CarInsurance, 12 de junio de 2015, www.carinsurance.com/Articles/state-farm-in-drive-discount.aspx.<<

www.lectulandia.com-Página385

Page 386: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[210]Ibid.<<

www.lectulandia.com-Página386

Page 387: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[211]StephenBaker,«MappingaNew,MobileInternet»,Bloomberg,25defebrerode2009, www.bloomberg,com/bw/stories/2009-02-25/mapping-a-new-mobile-internet.<<

www.lectulandia.com-Página387

Page 388: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[212]GregSkibiskiyTonyJebara,entrevistapersonalconStephenBaker,febrerode2009.<<

www.lectulandia.com-Página388

Page 389: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[213] Anthony Ha. «In Its First Acquisition, YP BuysMobile Ad Company SenseNetworks»,TechCrunck, 6 de enero de 1014, http://techcrunch.com/2014/01/06/yp-acquires-sense-networks/.<<

www.lectulandia.com-Página389

Page 390: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[214]CongressionalBudgetOffice,«TheTaxTreatmentofEmployment-BasedHealthInsurance», marzo de 1994, www.cbo.gov/sites/default/files/103rd-congress-1993-1994/reports/1994_03_taxtreatmentofinsurance.pdf.<<

www.lectulandia.com-Página390

Page 391: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[215] Alex Blumberg y AdamDavidson, «Accidents of HistoryCreated U. S. EslthSystem»,NPR,22deoctubrede2009,www.npr.org/templates/story/story.php?storyId=114045132.<<

www.lectulandia.com-Página391

Page 392: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[216]Ibid.<<

www.lectulandia.com-Página392

Page 393: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[217]ChadTerhune,«U.S.HealthSpendingHits$3TrillionasObamacareandRisingDrug Costs Kick In», Los Angeles Times, 2 de diciembre de 2015,www.latimes.com/business/healthcare/la-fi-health-spending-increase-20151202-story.html.<<

www.lectulandia.com-Página393

Page 394: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[218] Scott Thomas, «Nation’s Total Personal Income Approaches $13 Trillions»,Business Journals, 4 de diciembre de 1012, www.bizjournals.com/bizjournals/on-numbers/scott-thomas/2012/12/nations-total-personal-income.html.<<

www.lectulandia.com-Página394

Page 395: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[219]USDepartmentofLabor,«TheAffordableCareActandWellnessPrograms»,fichatécnica,www.dol.gov/ebsa/newsroom/fswellnessprogram.html[últimaconsultael9deenerode1016].<<

www.lectulandia.com-Página395

Page 396: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[220]USDepartmentofLabor,«AffordableCareAct».<<

www.lectulandia.com-Página396

Page 397: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[221]SoerenMattke,HangshengLiu, JohnCaloyeras,ChristinaHuang,KristinVanBusum,DmitryKhodyakovyVictoriaShier,«WorkplaceWellnessProgramsStudy»,Rand Corporation Research Report, 2013,www.rand.org/content/dam/rand/pubs/research_reports/RR200/RR254/RAND_RR254.sum.pdf.<<

www.lectulandia.com-Página397

Page 398: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[222] Washington and Lee Wellness Program, www.wIu.edu/human-resources/wellness/evolve-wellness-program[últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página398

Page 399: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[223] LeslieKwoh, «When.YourBossMakesYou Pay forBeing Fat».Wall StreetJournal, 5 de abril de 2013,www.wsj.com/articles/SB10001424127887324600704578402784123334550.<<

www.lectulandia.com-Página399

Page 400: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[224]Ibid.<<

www.lectulandia.com-Página400

Page 401: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[225] Alissa Fleck, «CVSDrugstore ChainUnveils New EmployeeDiet Plan: Fat-Shaming and a $600 Fine», Bitch Media. 21 de marzo de 2013,https://bitchmedia.org/post/cvs-drugstore-chain-unveils-new-employee-diet-plan-fat-shaming-and-a-600-fine.<<

www.lectulandia.com-Página401

Page 402: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[226]LilyDayton,«BMIMayNotBetheLastWordonHealthRisks,SomeExpertsSay»,LosAngelesTimes, 19dediciembrede2014,www.latimes.com/health/la-he-bmi-20141220-story.html.<<

www.lectulandia.com-Página402

Page 403: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[227]KeithDevlin,«Top10ReasonsWhyTheBMI IsBogus»,NPR,4de juliode2009,www.npr.org/templates/story/story.php?storyId=106268439.<<

www.lectulandia.com-Página403

Page 404: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[228] Rand Corporation, «Do Workplace Wellness Programs Save EmployersMoney?», Rand Corporation Research Brief, 2013,vmw.rand.org/content/dam/rand/pubs/research_briefs/RB9700/RB9744/RAND_RB9744.pdf.<<

www.lectulandia.com-Página404

Page 405: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[229]JoshuaLove,«4StepstoImplementaSuccessfulEmployeeWellnessProgram»,Forbes, 28 de noviembre de 2012, www.fobrbes.com/sites/theyec/2012/11/28/4-steps-to-implement-a-successful-employee-wellness-program/.<<

www.lectulandia.com-Página405

Page 406: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[230] California Health Benefits Review Program, «Analysis of Senate Bill 189:Health Care Coverage: Wellness Programs», informe a la asamblea legislativa deCalifornia de 2013-2014, 25 de abril de 2013, http://chbrp.ucop.edu/index.php?action=read&bill_id=149&doc_type=3.<<

www.lectulandia.com-Página406

Page 407: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[231] Jill Horwitz, Brenna Kelly y John Dinardo, «Wellness Incentives in theWorkplace: Cost Savings Through Cost Shifting to Unhealthy Workers», HealthAffairs32,n.º3(marzode2013),pp.468-476,doi:10.1377/hlthaff.2012.0683.<<

www.lectulandia.com-Página407

Page 408: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[232]AndrewPerrin,«SocialMediaUsage:2005-2015»,PewResearchCenter,8deoctubre de 2015, www.pewinternet.org/2015/10/08/social-networking-usage-2005-2015/.<<

www.lectulandia.com-Página408

Page 409: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[233]VictorLuckcerson,«Here’sHowFacebook’sNewsFeedActuallyWorks»,Time,9dejuliode2015,http://time.com/3950525/facebook-news-feed-algorithm/.<<

www.lectulandia.com-Página409

Page 410: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[234]MichaelBarthel,ElisaShearer,JeffreyGottfriedyAmyMitchell,«TheEvolvingRoleofNewsonTwitterandFacebook»,PewResearchCenter,14dejuliode2015,www.journalism.org/2015/07/14/the-evolving-rok-of-news-on-twitter-and-facebook/.<<

www.lectulandia.com-Página410

Page 411: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[235]RobertBond,ChristopherFariss,JasonJones,AdamKramer,CameronMarlow,JaimeSettleyJamesFowler,«A61-Million-PersonExperiment inSocial Influenceand PoliticalMobilization»,Nature 489 (13 de septiembre de 2012), pp. 295-298,doi:10.1038/natiire11421.<<

www.lectulandia.com-Página411

Page 412: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[236]AlanGerber,DonaldGreenyChristopherLarimer,«SocialPressureandVoterTurnout: Evidence from a Large-Scale Field Experiment», American PoliticalScience Review 102, n.º 1 (febrero de 2008), pp. 33-48,doi:10.1017/S000305540808009X.<<

www.lectulandia.com-Página412

Page 413: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[237]DerekWillisyClaireCainMiller,«TechFirmsandLobbyists:NowIntertwined,but Not Eager to Reveal It», New York Times, 24 de septiembre de 2004,www.nytimes.com/2014/09/25/upshot/tech-firms-and-lobbyists-now-intertwined-but-not-eager-to-reveal-it.html?_r-o.<<

www.lectulandia.com-Página413

Page 414: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[238]Bondetal.,«61-Million-PersonExperiment».<<

www.lectulandia.com-Página414

Page 415: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[239] David Barstow y Don Van Natta Jr., «Examining the Vote; How Bush TookFlorida:MiningtheOverseasAbsenteeVote»,NewYorkTimes,15dejuliode2001,www.nytimes.com/2001/07/15/us/examining-the-vote-how-bush-took-florida-mining-the-overseas-absentee-vote.html.<<

www.lectulandia.com-Página415

Page 416: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[240] EytanBakshy, SolomonMessing y LadáAdamic, «Exposure to IdeologicallyDiverseNewsandOpinion»,Science348,nº6239(7demayode2015),pp.1130-1132,doi:10.1126/science,aaa1160.<<

www.lectulandia.com-Página416

Page 417: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[241] Lada Adamic, vídeo de YouTube de una conferencia titulada «When FriendsDelivertheNewspaper»,impartidaoriginalmenteenelFooCampdeO’Reillyel25denoviembrede2013,www.youtube.com/watch?v=vawv-oVC9sE&list=UUoXEyA5oRlKnp7jkGrYw8ZQ-I[últimaconsultael10deenerode20×6].<<

www.lectulandia.com-Página417

Page 418: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[242]Luckerson,«Here’sHow».<<

www.lectulandia.com-Página418

Page 419: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[243]AdamKramer, JamieGuillory y JeffreyHancock, «ExperimentalEvidence ofMassive-ScaleEmotionalContagion throughSocialNetworks»,Proceedingsof theNationalAcademyofSciencesoftheUnitedStatesofAmerica111,n.º24(2dejuniode2014),pp.8788-8790,doi:10.1073/pnas.1320040111.<<

www.lectulandia.com-Página419

Page 420: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[244]RobertEpstein yRonaldRobertson, «TheSearchEngineManipulationEffect(SEME)andItsPossibleImpactontheOutcomesofElections»,ProceedingsoftheNational Academy of Sciences of theUnited States of America 112, n.º 33 (18 deagostode2015),pp.E4512-E4521,doi:10.1073/pnas.1419828112.<<

www.lectulandia.com-Página420

Page 421: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[245]KristinPurcell,JoannaBrenneryLeeRainie,«SearchEngineUse2011»,PewResearch Center, 9 de marzo de 2012, www.pewinternet.org/2012/03/09/search-engine-use-2012/.<<

www.lectulandia.com-Página421

Page 422: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[246]DaveGilson,«WhoWasatRomney’s“47Percent”Fundraiser?»,MotherJones,18deseptiembrede2012,www.motherjones.com/mojo/2012/09/romney-47-percent-fundraiser-florida.<<

www.lectulandia.com-Página422

Page 423: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[247]DavidCorn,«MeetScottProuty,the47PercentVideoSource»,MotherJones13demarzo de 2013, www.motherjones.com/politics/2013/03/scott-prouty-47-percent-video.<<

www.lectulandia.com-Página423

Page 424: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[248] Henry Blodget, «Bloomberg: Mitt Romney Just Lost the Election». BusinessInsider, 17de septiembrede2012,www.businessinsider.com/mitt-romney-just-lost-the-election-2012-9.<<

www.lectulandia.com-Página424

Page 425: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[249] JoeMcGinniss,TheSellingof thePresident1968 (NuevaYork:TridentPress,1969).<<

www.lectulandia.com-Página425

Page 426: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[250] Fragmento extraído de la columna «Straight Dope Message Board»,http;//boards.straightdope.com/sdmb/archive/index.php/t-617517.html [últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página426

Page 427: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[251]AlexisMadrigal, «What theObamaCampaign’sChiefDataScientist IsUp toNow», Atlantic Monthly, 8 de mayo de 2013,www.theatlantic.com/technology/archive/2013/05/what-the-obama-campaigns-chief-data-scientist-is-ts-up-to-now/275676/.<<

www.lectulandia.com-Página427

Page 428: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[252] Chad Cumby, Andrew Fano, Rayid Ghani y Marko Krema, «PredictingCustomerShoppingListsfromPoint-of-SalePurchaseData»,artículopresentadoenProceedings of the Tenth ACM SIGKDD International Conference on KnowledgeDiscoveryandDataMining,Seattle,2004,doi:10.1145/1014052.1014098.<<

www.lectulandia.com-Página428

Page 429: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[253] De la misma manera, es mucho más probable que las páginas web paraconsumidores ofrezcan descuentos alas personas que no han iniciado sesión. Unarazónmásparalimpiarlascookiesdelnavegadorconregularidad.<<

www.lectulandia.com-Página429

Page 430: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[254] Sasha Issenberg, «HowPresidentObama’sCampaignUsedBigData toRallyIndividual Voters», Technology Review, 19 de diciembre de 2012,www.technologyreview.com/featuredstory/509026/how-obamas-team-used-big-data-to-rally-voters/.<<

www.lectulandia.com-Página430

Page 431: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[255] Adam Pasick y Tim FernHolz, «The Stealthy, Eric Schmidt-Backed StartupThat’sWorkingtoPutHillaryClintonintheWhiteHouse»,Quartz,9deoctubrede2015, http://qz.com/520652/groundwork-eric-sdrmidt-startup-working-for-hillary-clinton-campaign/.<<

www.lectulandia.com-Página431

Page 432: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[256] Harry Davies, «Ted Cruz Using Firm That Harvested Data on Millions ofUnwitting Facebook Users», Guardian, 11 de diciembre de 2015,www.theguardian.com/us-news/2015/dec/11/senator-ted-cruz-president-campaign-facebook-user-data.<<

www.lectulandia.com-Página432

Page 433: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[257]TomHamburger,«CruzCampaignCreditsPsychologicalDataandAnalyticsforIts Rising Success», Washington Post, 13 de diciembre de 2015,www.washingtonpost.com/politics/cruz-campaign-credits-psychological-data-and-analytics-for-its-rising-success/2015/12/13/4cbobaf8-9dc5-11e5-bce4-708fe33e3288_story.htmt.<<

www.lectulandia.com-Página433

Page 434: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[258]EugeneScott,«Anti-abortionGroupReleasesFifthPlannedParenthoodVideo»,CNN, 5 de agosto de 2015,www.cnn.com/2015/08/04/politics/planned-parenthood-fifth-video-houston/.<<

www.lectulandia.com-Página434

Page 435: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[259] Jackie Calmes, «Planned Parenthood Videos Were Altered, Analysis Rinds»,NewYorkTimes, 27 de agosto de 2015,www.nytimes.com/2015/08/28/us/abortion-planned-parenthood-videos.html, www.theguardian.com/us-news/2015/nov/29/suspect-in-planned-parenthood-attack-said-no-more-baby-parts-after-arrest<<

www.lectulandia.com-Página435

Page 436: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[260]ZeynepTufekci,entrevista,telefónicaconlaautora,3deabrilde2015.<<

www.lectulandia.com-Página436

Page 437: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[261]PeterSchroeder,«Poll:43PercentofRepublicansBelieveObamaIsaMuslim»,Hill, 13 de septiembre de 2015, http://thehill.com/blogs/blog-briefing-room/news/253515-poll-43-percent-of-republicans-believe-obama-te-a-musilim.<<

www.lectulandia.com-Página437

Page 438: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[262] Elizabeth Wilner, «Romney and Republicans Outspent Obama, but Couldn’tOut-advertise Him», Advertising Age, 9 de noviembre de 2012,http://adage.com/article/campaign-trail/romney-outspent-obama-advertise/238241/.<<

www.lectulandia.com-Página438

Page 439: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[263] Steven Perlberg, «Targeted Ads? TV Can Do That Now Too», Wall StreetJournal20denoviembrede2014,www.wsj.com/articles/targeted-ads-tv-can-do-that-now-too-1416506504.<<

www.lectulandia.com-Página439

Page 440: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[264] A nivel federal, este problema podría paliarse en gran medida mediante laabolición del sistema del Colegio Electoral, en el que los votantes eligen a loselectores de cada estado. Los electores son quienes votan por un candidato y elcandidatoquerecibe lamayoríadevotosde loselectoresdeunestadorecibeenelrecuento final los votos de todos los electores de ese estado. Lo que otorga tantopoderaestereducidopuñadodevotantessonlasmatemáticasdel«todoparaelquegane» dentro de cada estado. Es como si en política, al igual que en economía,tuviésemos un 1 % privilegiado. El dinero de ese 1 % financiero sufraga lamicrosegmentaciónparaasegurarlosvotosdel1%político.SinelColegioElectoral,encambio,cadavotovaldríaexactamentelomismo.Estosupondríadarunpasomáshacialademocracia.<<

www.lectulandia.com-Página440

Page 441: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[265] Richard Socarides, «Why Bill Clinton Signed the Defease ofMarriage Act»,New Yorker, 8 de marzo de 2013, www.newyorker.com/news/news-desk/why-bill-clinton-signed-the-defense-of-marriage-act.<<

www.lectulandia.com-Página441

Page 442: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[266]NickGillespie,«What’sGoodforIBM…»,ChicagoTribune,5denoviembrede1996, http://articles.chicagotribune.com/1996-11-05/news/9611050018_1_gay-marriage-defense-of-marriage-act-same-sex.<<

www.lectulandia.com-Página442

Page 443: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[267] BusinessweekArchives, «Same Sex Benefits:Where IBMGoes, OthersMayFollow», Bloomberg Business, 6 de octubre de 1996,www.bloomberg.com/bw/stories/1996-10-06/same-sex-benefits-where-ibm-goes-others-may-follow.<<

www.lectulandia.com-Página443

Page 444: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[268] Timothy Donald Cook, «Tim Cook Speaks Up», Bloomberg Business, 30 deoctubrede2014www.bloomberg.com/news/articles/2014-10-30/tim-cook-speaks-up.<<

www.lectulandia.com-Página444

Page 445: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[269] Verne Kopytoff, «Apple: The First $700 Billion Company», Fortune, 10 defebrerode2015,http://fortune.com/2015/02/10/apple-the-first-700-billion-company/.<<

www.lectulandia.com-Página445

Page 446: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[270] MSHA, «Coal Fatalities for 1900 Through 2014», US Department of Labor,www.msha.gov/stats/centurystats/coalstats.asp [última consulta el 9 de enero de2016].<<

www.lectulandia.com-Página446

Page 447: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[271]EmanuelDermanyPaulWilmott, «TheFinancialModeler’sManifesto»,7deenero de 2009, www.uio.no/studier/emner/sv/oekonomi/ECON4135/ho9/undervisningsmateriale/FinancialModelersManifesto.pdf.<<

www.lectulandia.com-Página447

Page 448: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[272] Sitio web de FindFamilyResources, http://findfamilyresources.com/ [últimaconsultael9deenerode2016].<<

www.lectulandia.com-Página448

Page 449: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[273]GaryRubinstein, «AnalyzingReleasedNYCValue-AddedDataPart 2»,GaryRubinstein’s Blog, 28 de febrero de 2012,hflp://garymbinstein.teachforus.org/2012/02/28/analyzing-released-nyc-value-added-data-part-2/.<<

www.lectulandia.com-Página449

Page 450: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[274] Se podría pensar que una auditoria imparcial debería presionar para eliminarvariablescomolarazadelanálisis,perosiqueremosmedirelimpactodeunADM,necesitamos esos datos. En la actualidad, lamayoría de lasADMevitan incluir larazadeformadirecta.Enmuchoscasosesilegalhacerreferenciaaella.Noobstante,esmásfácildemostrarladiscriminaciónracialenlospréstamoshipotecariosqueenlos préstamos para comprar coches, porque cuando se concede un préstamohipotecario el empleado del banco tiene que preguntar al solicitante por su raza,mientrasquenoexiste esaobligaciónen lospréstamospara comprar coches.Si seincluye la raza en el análisis, comoha observado la ingeniera de sistemasCynthiaDwork, podemos cuantificar la injusticia racial cuando la encontramos, y asi darlepublicidad, debatir los problemas éticos que plantea y proponer soluciones. Dichoesto,nodebemosolvidarquelarazaesunconstructosocialy,comotal,resultadifícildedeterminar incluso cuandonos loproponemos, comopuedeconfirmar cualquierpersonaderazamestiza.(ClaireCainMiller,«AlgorithmsandBias:Q.andA,withCynthia Dwork», New York Times, 10 de agosto de 2015,www.nytimes.com/2015/08/11/upshot/algorithms-and-bias-q-and-a-with-cynthia-dwork,html.)<<

www.lectulandia.com-Página450

Page 451: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[275] Elizabeth Dwoskin, «How Social Bias Creeps into Web Technology»,WallStreetJournal,21deagostode2015,www,wsj.com/articles/computers-are-showing-their-biases-and-tech-firms-are-concerned-1440102894.<<

www.lectulandia.com-Página451

Page 452: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[276] JeffLarson,«MessageMachineStartsProvidingAnswers»,ProPublica,18deoctubre de 2012, www.propublica.org/article/message-machine-starts-providing-answers.<<

www.lectulandia.com-Página452

Page 453: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[277]GooglehaexpresadosuinterésporIntentareliminarlossesgosdesualgoritmoyalgunosempleadosdeGoogle lohancomentadobrevemente conmigo.Unademissugerenciasesqueabranlaplataformaamásinvestigadoresexternos.<<

www.lectulandia.com-Página453

Page 454: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[278]FederalTradeCommission,«FairCreditReportingAct»,15USC§1681etseq.,sitioweb de la FTC,www.ftc.gov/enforcement/rules/rulemaking-regulatory-reform-proceedings/fair-credit-reporting-act.<<

www.lectulandia.com-Página454

Page 455: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[279]FederalTradeCommission,«YourEqualCreditOpportunityRights»,sitiowebde laFTC,www.consumer.ffcgov/articles/0347-your-equal-credit-opportunity-rights.<<

www.lectulandia.com-Página455

Page 456: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[280] US Department of Justice Civil Rights Division, «Information and TechnicalAssistance on the Americans with Disabilities Act», sitio web de la Ley sobreEstadounidensesconDiscapacidades,www.ada.gov/.<<

www.lectulandia.com-Página456

Page 457: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[281]USDepartmentofLabor,«TheHealthInsurancePortabilityandAccountabilityAct»,noviembrede2015,www.dol.gov/ebsa/newsroom/fshipaa.html.<<

www.lectulandia.com-Página457

Page 458: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[282] L-Soft, «Opt-In Laws in North America and Europe», Lsoft.com,www.lsoft.com/resources/optinlaws.asp.<<

www.lectulandia.com-Página458

Page 459: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[283]ElizabethDwoskin,«EUData-PrivacyLawRaisesDauntingProspectsforU.S.Companies», Wall Street Journal, 16 de diciembre de 2015,www.wsj.com/articles/eu-data-privacy-law-raises-daunting-prospects-for-us-companies-1450306033.<<

www.lectulandia.com-Página459

Page 460: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[284] Meghan Henry, Alvaro Cortes, Azim Shivji y Katherine Buck, «The 2014Annual Homeless Assessment Report (AHAR) to Congress», US Department ofHousing and Urban Development, octubre de 2014,www.htudexchange.info/resources/documents/2014-AHAR-Part1.pdf.<<

www.lectulandia.com-Página460

Page 461: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[285] Giselle Routhier, «Mayor Bloomberg’s Revolving Door of Homelessness»,SafetyNet,primaverade2012,www.coalitionforthehomeless.org/mayor-bloombergs-revolving-door-of-homelessness/.<<

www.lectulandia.com-Página461

Page 462: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[286] Issie Lapowsky, «The Next Big Thing You Missed: Software That HelpsBusinessesRidTheirSupplyChainsofSlaveLabor»,Wired,3defebrerode2015,www.wired.com/2015/02/frdm/.<<

www.lectulandia.com-Página462

Page 463: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[287] Darian Woods, «Who Will Seize the Child Abuse Prediction Market?»,Chronicle for Social Change, 28 de mayo de 2015,https://chronicleofsocialchange.org/featured/who-will-seize-the-child-abuse-prediction-market/10861.<<

www.lectulandia.com-Página463

Page 464: Armas de destrucción matemática - UNDER POST · Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos.

[288]Michael Levenson, «CanAnalyticsHelp Fix theDCF?»,BostonGlobe, 7 denoviembre de 2015, www.bostonglobe.com/2015/11/07/childwelfare-bostonglobe-com/AZ2kZ7ziiP8cBMOite2KKP/story.html.<<

www.lectulandia.com-Página464