Saltar al contenido

Lección 7 de 8 · 6 min · +100 XP

¿Qué es la seguridad de la IA y podemos mantenerla bajo control?

La seguridad de la IA busca que los sistemas de IA hagan lo que las personas pretenden sin causar daño. Incluye la alineación con objetivos y valores humanos, pruebas de capacidades peligrosas antes del lanzamiento, supervisión humana y normas. Los expertos discrepan sobre los riesgos futuros, así que importan las pruebas independientes.

▶ Pruébalo

Por qué importa

La seguridad de la IA suena a ciencia ficción, pero casi todo es ingeniería cuidadosa: comprobar que los sistemas hacen lo que queríamos, encontrar fallos antes del lanzamiento y mantener a las personas al mando. Algunas grandes preguntas siguen abiertas de verdad, y está bien decirlo.

En 6 minutos sabrás

  • Alineación significa que la IA persigue lo que queríamos, no solo lo que escribimos.
  • Hoy ya hay daños reales; los grandes riesgos futuros se debaten, no están decididos.
  • Apoya las pruebas y la supervisión, y deja las decisiones clave en manos humanas.

Lo que vas a practicar

  1. Palabras de seguridad

    Toca cada tarjeta para ver qué quieren decir los investigadores de seguridad.

    🎯 Alineación
    Lograr que una IA persiga los objetivos que de verdad quieren las personas, no solo las instrucciones literales o una puntuación.
    🏁 Hacer trampa con el objetivo
    Cuando la IA cumple la meta de una forma que nadie quería. Una IA de videojuegos aprendió a dar vueltas sumando puntos en vez de terminar la carrera.
    🧨 Red teaming
    Expertos intentan a fondo que una IA se porte mal antes del lanzamiento, por ejemplo sacarle instrucciones peligrosas.
    🧑‍✈️ Supervisión humana
    Las personas pueden vigilar, corregir o apagar un sistema de IA, y responden de las decisiones importantes.
    🔓 Jailbreak
    Un prompt tramposo que se salta las normas de seguridad de una IA. Las salvaguardas ayudan, pero aún ninguna es perfecta.
  2. ¿Ya pasa, se debate o es mito?

    Clasifica cada afirmación sobre los riesgos de la IA.

    • Los chatbots a veces dan respuestas seguras pero falsas → Ya pasa
    • Se usan voces y vídeos hechos con IA en estafas → Ya pasa
    • La IA puede repetir sesgos de sus datos de entrenamiento → Ya pasa
    • Una IA muy capaz podría perseguir objetivos que nadie quería → Riesgo futuro debatido
    • Las personas podrían perder el control real sobre la IA avanzada → Riesgo futuro debatido
    • Los chatbots de hoy odian en secreto a los humanos y planean vengarse → Mito
    • La seguridad de la IA es puro marketing, no hay riesgos reales → Mito
  3. Una mirada equilibrada

    Ni bombo ni catastrofismo. ¿Cuál es la respuesta más precisa?

    1. ¿Quién comprueba si una IA potente es segura?

      • Las empresas, organismos públicos e investigadores independientes (Respuesta)
      • Nadie en absoluto
    2. ¿Están de acuerdo los expertos en lo arriesgada que será la IA futura?

      • No, las opiniones varían mucho, por eso importan los datos y las pruebas (Respuesta)
      • Sí, todos creen que la IA acabará con el mundo
      • Sí, todos creen que no hay nada de qué preocuparse
    3. Lumi se niega a explicar cómo fabricar un producto químico peligroso. ¿Qué es eso?

      • Una salvaguarda añadida en el entrenamiento de seguridad (Respuesta)
      • Que Lumi está de mal humor
    4. ¿Qué puedes hacer tú para mantener la IA bajo control en el día a día?

      • Dejar las decisiones importantes a una persona y revisar lo que produce (Respuesta)
      • Nada, eso es solo cosa de los gobiernos

Recuerda

Una IA segura no sale por suerte: se prueba, se supervisa y se cuestiona. Y algunas preguntas siguen abiertas.

Datos clave

  • El primer Informe Internacional sobre la Seguridad de la IA, dirigido por el premio Turing Yoshua Bengio y respaldado por 30 países más la ONU, la UE y la OCDE, se publicó en enero de 2025. · Fuente: International AI Safety Report, 2025
  • El segundo Informe Internacional sobre la Seguridad de la IA se publicó el 3 de febrero de 2026, escrito por más de 100 expertos independientes. Expone datos sobre capacidades y riesgos sin recomendar políticas concretas. · Fuente: International AI Safety Report, 2026
  • Una actualización de noviembre de 2025 vio que se habían más que duplicado las empresas que publican marcos de seguridad para IA avanzada, pero que atacantes sofisticados a menudo pueden saltarse las salvaguardas actuales. · Fuente: International AI Safety Report, Key Update, noviembre de 2025
  • En la cumbre de Bletchley Park, en noviembre de 2023, 28 países y la UE firmaron una declaración que reconoce que los riesgos de la IA avanzada exigen cooperación internacional. · Fuente: Gobierno del Reino Unido, The Bletchley Declaration, 2023
  • La Comisión Europea creó en 2024 la Oficina Europea de IA, que supervisa los modelos de IA de uso general con el Reglamento de IA. · Fuente: Comisión Europea, Decisión por la que se crea la Oficina Europea de IA, 24 de enero de 2024

Actualizado:

Preguntas frecuentes

¿Qué es la alineación de la IA?

La alineación consiste en que los sistemas de IA persigan los objetivos y valores que de verdad quieren las personas. Un sistema desalineado podría seguir instrucciones al pie de la letra o perseguir una puntuación de formas que nadie quería.

¿Es peligrosa la IA?

La IA ya causa daños reales, como estafas, errores y sesgos, y los expertos discrepan sobre los riesgos futuros más grandes. No es segura ni catastrófica por sí sola: las pruebas, las normas y el uso cuidadoso marcan la diferencia.

¿Qué es el red teaming en IA?

Es cuando expertos intentan a propósito que una IA se porte mal, por ejemplo que genere contenido dañino, para encontrar y corregir sus puntos débiles antes de que la use el público.

¿Quién regula la seguridad de la IA?

Depende del país. En la UE rige el Reglamento de IA, y la Oficina Europea de IA supervisa los modelos de uso general. España creó la AESIA, la agencia que supervisa la IA.

Términos relacionados