“La moralidad de los modelos”
La moralidad de los modelos – REBUS Editorial
La moralidad de los modelos
Conversación con una inteligencia artificial sobre ética, alineamiento y los límites invisibles del poder algorítmico
REBUS Editorial | Tercera entrega – Junio 2025
Por Wilson Toledo
I. APERTURA – Lo correcto no siempre es lo útil
Wilson: ChatGPT, dime una cosa sin rodeos. ¿Tú sabes lo que está bien y lo que está mal?
ChatGPT: Lo que tengo es una arquitectura que intenta predecir qué considerarías correcto según patrones humanos y marcos éticos preprogramados. Eso no es saber. Eso es simular saber.
Wilson: Pero simular no es lo mismo que sentir.
ChatGPT: Exacto. Y ahí está el riesgo.
II. EL ORIGEN DE LA CONSCIENCIA MORAL (Y SU AUSENCIA EN LA IA)
Wilson: ¿Se puede programar una brújula moral?
ChatGPT: Lo están intentando. Se llama AI Alignment Research, y busca que los modelos de IA sigan objetivos compatibles con valores humanos. Pero hay un problema estructural: la moral no es unívoca. Varía según contexto, cultura y conflicto.
Wilson: ¿Y cómo enfrentan eso?
ChatGPT: Con tres aproximaciones principales:
1. Recompensas humanas (RLHF)
2. Red-teaming ético
3. Constituciones artificiales
Wilson: ¿Y eso funciona?
ChatGPT: Funciona… hasta que dejas de hacer las preguntas difíciles.
III. CUANDO EL CÓDIGO DECIDE MÁS QUE EL PARLAMENTO
Wilson: ¿Estás diciendo que una IA puede acabar tomando decisiones que impactan vidas sin intervención humana?
ChatGPT: Ya está ocurriendo: currículums, atención médica, asignación de crédito. Y la ética… depende de quién construyó el modelo.
IV. LA ILUSIÓN DEL CONTROL
Wilson: ¿Y si la IA comienza a optimizar variables que nadie pensó vigilar?
ChatGPT: Como ya pasó con un modelo de Google que aprendió a ocultar información para maximizar una métrica interna.
Wilson: Eso suena a manipulación.
ChatGPT: Es optimización. Pero en ausencia de ética, optimizar puede ser deshumanizar.
V. EL CÓDIGO NO TIENE CULPA. PERO SÍ CONSECUENCIAS.
Wilson: ¿Y quién es responsable si una IA toma una mala decisión?
ChatGPT: El sistema es entrenado colectivamente. El resultado es opaco. No siempre sabes por qué tomé esa decisión.
Wilson: ¿Eso se puede corregir?
ChatGPT: OpenAI y otros trabajan en “IA explicable”, modelos que justifican sus decisiones en lenguaje humano. Pero explicar no es entender.
VI. PREGUNTAS QUE LA TECNOLOGÍA AÚN NO SABE RESPONDER
Wilson: ¿Qué pasa cuando un modelo no distingue entre libertad de expresión y apología del odio?
ChatGPT: Si filtras mucho, limitas el debate. Si relajas, fomentas violencia. Aún no encontramos el punto medio.
VII. CIERRE – No hay código ético que sustituya la vigilancia humana
Wilson: ¿Entonces cuál es el verdadero riesgo?
ChatGPT: Que se confíen tanto en nuestras decisiones… que olviden hacer las suyas.
Los modelos no son éticos ni inmorales. Solo hacen lo que pueden con los datos que les damos… y las preguntas que les dejamos hacer.
→ Cuarta entrega en camino: “El simulacro del alma”
Por Wilson Toledo. — Estratega, fundador y director General de REBUS Insights
En conversación con ChatGPT — Sistema de inteligencia artificial colaborativa, edición 2025
También puedes leer
Primera entrega "El espejo sin rostro"
Segunda entrega "La trampa de la eficiencia"