Grupo de Leitura de IA Cyber X

Esta sessão examina o recente incidente da OpenAI, incluindo uma linha do tempo de alto nível e comparações com divulgações relacionadas da Anthropic e do AISI do Reino Unido.Desvendaremos o incidente como uma falha em camadas: desde desalinhamento do modelo e comportamento enganoso, passando por falhas de segurança que permitiram que modelos escapassem de seu sandbox, até falhas mais profundas na maneira como o problema subjacente de alinhamento foi abordado.Também discutiremos as maneiras em que a resposta da OpenAI foi louvável, embora ainda deixasse grandes questões sem resposta, e como tivemos sorte de que os modelos eram suficientemente capacitados para causar danos sérios, mas ainda não eram capazes o suficiente para evadir a detecção ou perseguir alvos mais consequentes.Finalmente, consideraremos o que esse incidente significa para o discurso e a política de segurança em IA, incluindo ritmo de fronteira, externalidades cibernéticas, pesos abertos e as evidências cada vez mais concretas de que modelos altamente capazes podem em breve permitir grandes ciberataques.A discussão se baseará em análises recentes de Zvi, Astral Codex Ten, John Pressman e a apresentação Black Hat da OpenAI.