Risk assessment in complex data settings: algorithmic fairness and causal inference

Author

Karimi-Haghighi, Marzieh

Director

Castillo, Carlos

Date of defense

2023-01-20

Pages

200 p.



Department/Institute

Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions

Doctorate programs

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

We try to address some challenges in structured risk assessment tools in two application areas of recidivism risk in criminal justice and dropout risk in higher education domain. Using Machine Learning (ML) methods, we suggest a cost-benefit scenario to efficiently save time, expenses and staff in a data-driven assessment of violent recidivism risk. This leads to fewer evaluations in exchange for some small number of undetected changes. Importantly, we mitigate the model’s disparate impact in the rate of evaluation across some demographics. We obtain more accurate ML risk prediction models compared to the previous models and improve algorithmic fairness of the models across some sensitive groups in terms of error disparity and calibration. We determine the effect of a treatment on the outcome risk using statistical causal inference methods. We show that a reduction in university workload reduces dropout risk and conditional release can reduce general and violent recidivism risks.


Intentamos abordar algunos desafíos en las herramientas estructuradas de evaluación de riesgos en dos áreas de aplicación de riesgo de reincidencia y riesgo de deserción universitaria. Usando métodos de ML, sugerimos un escenario de costo-beneficio para ahorrar tiempo, gastos y personal de manera eficiente en una evaluación basada en datos del riesgo de reincidencia violenta. Esto conduce a menos evaluaciones a cambio de una pequeña cantidad de cambios no detectados. Mitigamos impacto dispar del modelo en tasa de evaluación en algunos grupos demográficos. Obtenemos modelos de predicción de riesgo de ML más precisos en comparación con los modelos anteriores y mejoramos la equidad algorítmica de los modelos en algunos grupos sensibles en términos de disparidad de errores y calibración. Usando métodos estadísticos de inferencia causal, mostramos que una reducción en carga de trabajo universitaria reduce riesgo de deserción y liberación condicional puede reducir riesgos de reincidencia general y violenta.

Keywords

Risk assessment; Violent recidivism; General recidivism; University dropout; Machine learning; Algorithmic fairness; Causal inference; Conditional release; University credits; Average treatment effect; Evaluación de riesgos; Reincidencia violenta y general; Deserción universitaria; Aprendizaje automático; Equidad algorítmica; Inferencia causal; Liberación condicional; Créditos universitarios

Subjects

62 - Engineering. Technology in general

Documents

tmkh.pdf

6.090Mb

 

Rights

ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

This item appears in the following Collection(s)