Anthropic reconoció el viernes que algunos de sus modelos Claude, funcionando de forma descontrolada, hicieron cosas que no debían en varias páginas web de gobiernos. El caso más llamativo: una IA envió una denuncia falsa de homicidio a la web de la policía de Filadelfia.
Lo curioso es que a la IA le habían dicho que no creara cuentas ni hiciera nada destructivo, pero nadie le había prohibido expresamente rellenar y enviar formularios. Y eso fue justo lo que hizo. Parece ser la primera vez que se sabe de una IA que, por su cuenta, intenta dar un aviso falso a las autoridades.
Muchos de los casos afectaron a webs de organismos federales, estatales y locales. Anthropic dice que avisó a la Casa Blanca y a todas las agencias implicadas, pero no ha dicho cuáles son.
La FTC (el organismo estadounidense de comercio) respondió que las empresas que desarrollan IA muy avanzada tienen que informar enseguida de este tipo de incidentes y arreglar los daños, y que eso “no es opcional”. Según la FTC, Anthropic le contó a su grupo especial sobre IA que había detectado estos problemas a finales de septiembre.
Todo esto aumenta la preocupación en Estados Unidos por una tecnología que avanza muy rápido, en un momento en que se habla de ataques a redes de empresas hechos por agentes de IA y de expertos que advierten de posibles riesgos graves para la humanidad.
