Qué es el sesgo en los datos

El sesgo en los datos es una desviación que se repite siempre en la misma dirección y falsea lo que aprende un modelo. Si no lo detectas a tiempo, el modelo lo copia y lo repite con personas reales.

Imagina una app universitaria que recoge opiniones para decidir dónde poner más ayuda. Casi todas las respuestas llegan de quien estudia en el campus. Quien estudia a distancia casi no aparece, y el modelo no sabrá que existe.

Una muestra sirve si se parece a la población. Si un grupo pesa el 40 % de la población y solo el 15 % de la muestra, queda infrarrepresentado.

El modelo aprende de lo que ve. De un grupo que casi no ve, aprende muy poco, y se equivoca más con esas personas.

# Población y muestra de la encuesta de la universidad.
population = {"A": 600, "B": 400}
sample = {"A": 170, "B": 30}

total_population = 0
total_sample = 0
for group in population:
    total_population = total_population + population[group]
    total_sample = total_sample + sample[group]

for group in population:
    in_population = population[group] * 100 / total_population
    in_sample = sample[group] * 100 / total_sample
    print("grupo", group, "población", in_population, "% muestra", in_sample, "%")
# Cambia sample a {"A": 120, "B": 80} y vuelve a ejecutar.
# ¿Qué grupo queda mejor representado?

Muchos modelos aprenden de etiquetas: una persona decidió cada respuesta. Por ejemplo, un jefe puntuó a los empleados de su equipo.

Si esa persona puntuaba peor a un grupo sin motivo, la etiqueta ya trae ese prejuicio. El modelo no lo ve como un error. Lo ve como la verdad que debe imitar.

Los datos históricos cuentan lo que se decidió, no lo que habría sido justo. Un banco que concedió pocos préstamos a un barrio durante diez años deja pocos ejemplos buenos de ese barrio.

Un modelo entrenado con esos datos concluye que ese barrio no merece préstamos, y el ciclo sigue.

docker exec jupyter python3 -c "print(len(open('hires.csv').readlines()) - 1)"

El archivo hires.csv tiene un día de 2025 por fila: 365 filas, sin ningún día que falte. El comando de abajo cuenta los sábados y domingos.

Sale 104. Son 104 de 365 días, cerca del 28 %. Un año completo no deja a ningún tipo de día fuera, y por eso este archivo sirve para practicar.

docker exec jupyter python3 -c "print(sum(1 for r in __import__('csv').DictReader(open('hires.csv')) if r['weekday'] in ('Sat', 'Sun')))"

docker exec jupyter python3 -c "print([sum(1 for r in __import__('csv').DictReader(open('hires.csv')) if r['weather'] == w) for w in ('sunny', 'cloudy', 'rainy')])"