Saltar al contenido
PhiloCyber logo
AI SafetyInforme de campo

Mi semana en AISB Londres: de los fundamentos a las preguntas de AI Safety

Los fundamentos que me costaron, las conversaciones que acercaron los riesgos a la realidad y por qué esta semana cambió mis prioridades. Mi experiencia en el AI Security Bootcamp de Londres.

Descargar Markdown
Citar este artículo

Ricardo Prieto. “Mi semana en AISB Londres: de los fundamentos a las preguntas de AI Safety.” PhiloCyber, 14 sept 2026. Actualizado: 22 sept 2026. https://www.philocyber.com/es/blogs/aisb-london-2026-experience

Escuchá este artículo

Voz sintética · Audio en español

14:59

Mi semana en AISB Londres: de los fundamentos a las preguntas de AI SafetyAbrir imagen en resolución original

Fui al AI Security Bootcamp de Londres para entender mejor la tecnología con la que ya venía trabajando. Los primeros días me llevaron hacia adentro de los modelos. Después, las clases y las conversaciones me hicieron levantar la mirada hacia lo que puede cambiar a medida que esos sistemas se vuelven más capaces. Ese recorrido terminó cambiando mucho más que mis preguntas técnicas: también cambió mis prioridades.

Me enteré del bootcamp con muy poco margen. Graciela Pataro, profesora de la Maestría en Seguridad Informática de la UBA, me compartió la convocatoria cuando faltaba poco para que cerrara. Vi el programa, pensé que era una oportunidad enorme y apliqué.

Del 30 de agosto al 5 de septiembre de 2026 estuve en Londres, estudiando seguridad de IA con personas que llegaban desde recorridos muy distintos. Yo ya trabajaba en AI security y venía de años de offensive security y AppSec. Llevaba esa experiencia conmigo y muchas ganas de entender mejor qué ocurre dentro de los modelos.

Oficina de GovAI donde se llevó acabo el AI Security Bootcamp (AISB) durante una sesión de reinforcement learning, con la ecuación de Bellman proyectada y notas en el pizarrón
Una de las sesiones dedicadas a reinforcement learning dada por David Quarel (PhD student at the Australian National University). La semana combinó fundamentos, discusión y trabajo práctico.

Llegar con experiencia y volver a ser principiante

Los primeros días estuvieron muy dedicados a los fundamentos. Para mí, entender cómo se entrenan y representan los modelos ayudaba a sacarles un poco esa abstracción de que la IA funciona por arte de magia. Mi experiencia en seguridad me daba un punto de apoyo: límites de confianza, superficies de ataque, permisos y casos de abuso. Pero seguir la matemática requería otras bases.

Reinforcement learning fue una de las partes que más me costaron. David Quarel lo explicó muy bien, pero pasar de la idea de aprender a partir de recompensas a seguir las ecuaciones y los algoritmos me resultó complejo. Había que conectar estados, acciones, recompensas y lo que podía pasar después de cada decisión. Era mucho contenido en poco tiempo, y hubo partes que no pude seguir al ritmo de la clase.

Los ejercicios de código también estiraron bastante mi conocimiento de ML. Tocó preguntar a tutores, compañeros e IA. Mis compañeros tenían fortalezas muy distintas: algunos entendían con profundidad los modelos; otros, la evaluación o la seguridad práctica. Algunos venían de la academia y otros estaban más relacionados con instituciones públicas.

Aprender juntos me ayudó a ubicar dónde podía aportar y dónde necesitaba volver a los fundamentos. Salí con un mapa más preciso de lo que todavía no sé (difícil lidiar con esa sensación, pero tocó vivirla).

De los model internals al control

Los ejercicios ayudaban a conectar esas bases con problemas de seguridad. En model internals, serialización y tokenización aparecían como fronteras de parsing. Una demo con control tokens podía mostrar cómo una representación altera el significado de una entrada, pero no demostraba por sí sola que una API real fuera vulnerable. Esa diferencia entre una idea útil y la evidencia para sostener una afirmación me resultó muy cercana a la seguridad ofensiva.

Con backdoors, el material proponía envenenar un dataset de sentiment analysis con el trigger “James Bond” y medir tanto el desempeño con entradas normales como la frecuencia del comportamiento buscado ante el trigger. Fue el ejercicio que más me gustó.

Una medición no reemplazaba a la otra. Que el modelo respondiera bien a las entradas normales dejaba sin resolver qué pasaba cuando aparecía el trigger. Me llevo esa pregunta para mi trabajo: cuando decimos que un modelo pasó una evaluación, ¿qué comportamiento pusimos a prueba y en qué condiciones?

En adversarial vision, otro ejercicio proponía medir la efectividad de un ataque junto con cuánto cambiaba la imagen, usando las normas L2 y L∞. Eran ejercicios acotados para aprender a medir, sin pretender demostrar la robustez general de los modelos de frontera.

Monitoreo y AI control sumaban otra pregunta: cómo reducir el riesgo de acciones no deseadas incluso si no podemos confiar plenamente en el modelo. Los ejercicios comparaban protocolos de monitoreo, delegación a un modelo de confianza y generación de nuevas respuestas. Había que mirar tanto la seguridad como la utilidad de cada alternativa.

Cuando los impactos dejaron de sentirse tan lejanos

En la segunda mitad de la semana, el foco se fue ampliando hacia el impacto que la IA puede tener en distintos ámbitos y los riesgos de sistemas mucho más capaces. Aparecían las preguntas sobre inteligencia artificial general (AGI) y superinteligencia (ASI). Yo había escuchado y leído sobre esos escenarios, pero me faltaba contexto para relacionarlos con lo que ya se estaba observando y con la velocidad a la que avanza la tecnología.

Las charlas de David Williams-King y Marius Hobbhahn fueron las que más me impactaron en lo personal. Hablaron de misalignment, de scheming y de las dificultades para interpretar el chain of thought, las trazas de razonamiento que expresa un modelo. Me quedó dando vueltas qué podemos entender a partir de esas trazas y qué necesitamos evaluar de su comportamiento.

Marius es CEO y cofundador de Apollo Research, donde estudian, entre otras cosas, si un modelo puede perseguir objetivos desalineados de forma encubierta, ocultando lo que hace frente a la supervisión. Poder escuchar a personas que trabajan en estos problemas, y conectar sus investigaciones con las preguntas sobre impactos futuros, me dio puntos de apoyo que antes me faltaban.

Para mí, esas conversaciones acercaron preguntas enormes a problemas que se pueden estudiar. Entender mejor los fundamentos y conocer el trabajo de quienes evalúan estos sistemas me ayudó a pensar qué evidencia tenemos, qué sigue siendo incierto y por qué vale la pena trabajar en ello.

También cambió mi relación con governance. Unos meses antes había rendido TAISE, de Cloud Security Alliance. Mi sensación personal había sido que me costaba conectar parte de la teoría con problemas concretos. Aprendo mejor cuando puedo entender los fundamentos y después usarlos para construir, probar o evaluar algo. En Londres empecé a encontrar esas conexiones.

Pensemos en un agente cuyo monitor detecta una acción sospechosa. La alerta tiene que llegar a tiempo y estar conectada con un mecanismo capaz de frenarla. Después hay que decidir quién revisa lo ocurrido, cuándo se permite continuar y qué pasa si mantener la pausa retrasa una entrega. Ahí se juntaban controles técnicos, evidencia, responsabilidades e incentivos.

Mi lectura de AISB es que también busca acercar a personas de cyber a estas preguntas y ayudarlas a encontrar dónde pueden aportar. A mí me ayudó a entender mejor el porqué de AI Safety y a querer involucrarme.

Ver ese trabajo de cerca

Durante la semana, el UK AI Security Institute recibió al grupo y compartió parte de su trabajo de investigación. Ver una institución dedicada a evaluar capacidades y riesgos volvió mucho más concreto un campo que, desde lejos, puede sentirse abstracto. GovAI también prestó sus oficinas para parte del programa. Sinceramente, me hubiera gustado tener más charlas de ellos o más contexto, hubiera estado bueno.

De cholulo frente al cartel del AI Security Institute del Reino Unido durante la visita del grupo de AISB
Durante la visita del grupo al UK AI Security Institute, en Londres.

El aprendizaje tampoco ocurrió solamente frente a una pantalla. Las preguntas siguieron en los descansos, las comidas y las conversaciones con compañeros. Esa generosidad hizo que pedir ayuda no se sintiera como quedarse atrás, sino como parte del trabajo.

Quiero agradecer especialmente a Pranav Gade, que creó el AISB y estuvo enseñando y apoyándonos durante la semana, tanto con las charlas técnicas como con las conversaciones sobre impacto. Pranav, un capo.

También a David Quarel y Jan Michelfeit, por enseñar y ayudarme a conectar conceptos complejos; y a Rhita Ameziane, por la organización y el cuidado con el que sostuvo la gran experiencia.

También a Jannis Kirschner, Emma Liddell, Chang Shiau Huei, Fernando Smith y David Williams-King por sus charlas y su guía; a BlueDot Impact y Constellation Institute; al UK AISI por recibirnos y compartir su investigación; y a GovAI por abrir sus oficinas y compartir su lindo espacio. Y, por supuesto, a mi querida profesora de Marco Legal, Ética y Privacidad (PSI), Graciela Pataro, por acercarme la oportunidad justo a tiempo.

El apoyo económico importa

El apoyo financiero fue imprescindible para que pudiera asistir. Sin eso, viajar a Londres para una semana de formación no habría sido una opción realista para mí.

Hacer accesibles estas oportunidades importa porque el talento y las preguntas valiosas no están concentrados en una sola ciudad, un solo país o una sola trayectoria profesional. La ayuda económica cambia quién puede estar en la sala, aprender y después llevar esas ideas a otras comunidades.

Con qué volví

Volví con ganas de dedicar mi trabajo a ayudar a que la IA sea más segura y beneficiosa. La semana cambió muchas de mis prioridades, incluso fuera de lo profesional. En este otro ensayo cuento qué significó ese cambio para mí y para PhiloCyber.

Acá quería contar el recorrido que me llevó hasta esa decisión: estudiar los fundamentos, encontrarme con mis límites y escuchar a personas que están investigando los problemas que tenemos por delante. Mi experiencia en seguridad ofensiva, AppSec y threat modeling es la base desde la que quiero empezar a aportar. Lo inmediato es fortalecer mis conocimientos de ML y encontrar preguntas acotadas que pueda investigar con otras personas.

Voy a seguir compartiendo lo que aprenda en próximos posts y videos. Si estás trabajando en AI Safety, AI security, evaluaciones o control y pensás que podemos aportar y aprender juntos, escribime o contactame por LinkedIn. La puerta sigue abierta para colaborar, conversar sobre oportunidades de trabajo y recibir feedback.

Preguntas que me hicieron al compartir mi experiencia

Antes de responder, una aclaración: ya me escribieron dos personas que se habían postulado a AISB y no habían quedado. No trabajo en AISB ni formé parte de la organización o del equipo que evalúa las postulaciones. No sé por qué no fueron seleccionadas ni conozco los criterios que usan para decidir. Pueden influir distintos factores, pero no tengo información para explicar cada caso. Si esa es tu situación, lo mejor es consultar directamente al equipo de AISB. Yo puedo contarte cómo fue mi experiencia como participante.

¿Necesito venir de machine learning para aprovechar AISB?

Solo puedo responder desde mi experiencia: la base en seguridad me ayudó mucho, pero también necesité estudiar ML. La organización nos compartió material preparatorio para cuatro semanas, muy bueno y extenso. Vale la pena dedicarle tiempo. Los requisitos de cada cohorte están en la página oficial.

¿Qué hizo distinta a esta semana de una conferencia?

La continuidad. Una idea aparecía en una clase, se volvía concreta en los ejercicios de código y reaparecía después o al otro día en una conversación sobre evaluación o control. Compartir varios días con el mismo grupo también permitió hacer preguntas con más profundidad, conocernos mejor y aprender de las experiencias de otros.

Fuentes para que puedas chequear

Afiche oficial de la cohorte de diciembre de 2026 del AI Security Bootcamp en Londres
La próxima cohorte de Londres se realizará del 6 al 12 de diciembre de 2026.
Perspectiva

Postulaciones para Londres, diciembre de 2026

La cohorte sobre la que escribí ocurrió a fines de agosto y principios de septiembre. La próxima va a ser del 6 al 12 de diciembre de 2026 y la convocatoria cierra el 1 de octubre de 2026 a las 23:59 AoE (Anywhere on Earth).

Si la propuesta te interesa pero dudás porque no dominás todo el temario, ¡animate y postulate! Yo también llegué con brechas por trabajar e incertidumbre. Conocé el programa y postulate acá.

El no siempre lo tenemos, ¡vos intentá!

Richie

Lectura relacionada

Seguí el trabajo desde las ideas hasta los recursos útiles.

Recorré el archivo completo de artículos o conocé las guías y los registros de proyecto que llevan los métodos a la práctica.

Explorar artículos
Mi semana en AISB Londres: de los fundamentos a las preguntas de AI Safety | PhiloCyber