Os bots automatizados estão prestes a aparecer em todos os lugares, com consequências potencialmente devastadoras.
Ilustração de Ben Kothe / The Atlantic. Fontes: perets; Liyao Xie / Getty.
Em 2010 — bem antes da ascensão do ChatGPT e Claude e todos os outros modelos de IA conversacionais e animados — um exército de bots eliminaram brevemente US$ 1 trilhão em valor na NASDAQ e outras bolsas de valores. Longas investigações foram realizadas para descobrir o que havia acontecido e por quê — e como evitar que acontecesse novamente. O relatório da Securities and Exchange Commission sobre o assunto culpou algoritmos de negociação de alta frequência por se envolverem inesperadamente em uma compra e venda irracional de "batata quente" de contratos de um lado para o outro.
Um “flash crash”, como o incidente foi chamado, pode parecer estranho em relação ao que está por vir. Isso porque, mesmo em meio a todo o hype da IA, uma parte iminente da revolução da IA é pouco examinada: “agentes”.
Agentes são IAs que agem independentemente em nome dos humanos. Como o flash crash de 2010 mostrou, bots automatizados estão em uso há anos. Mas grandes modelos de linguagem agora podem traduzir objetivos de linguagem simples, expressos por qualquer pessoa, em instruções concretas que são interpretáveis e executáveis por um computador — não apenas em um reino estreito e especializado, como negociação de títulos, mas em todo o mundo digital e físico. Esses agentes são difíceis de entender, avaliar ou combater e, uma vez soltos, podem operar indefinidamente.
Para toda a preocupação atual sobre a segurança da IA , incluindo riscos potencialmente existenciais , não houve nenhum alarme geral específico ou regulamentação correspondente em torno desses agentes de IA emergentes. Houve experimentos mentais sobre uma IA dada (ou definindo para si mesma) uma meta arbitrária e aparentemente inofensiva, como fabricar o máximo de clipes de papel possível, apenas para causar um desastre quando desvia todos os recursos da humanidade para essa meta. Mas bem antes de ter que confrontar uma superinteligência monomaníaca especulativa, devemos atender a problemas mais urgentes, embora prosaicos, causados por agentes contemporâneos decididamente não especulativos. Eles podem atrapalhar, seja pela malícia daqueles que os colocam em ação, ou acidentalmente, no estilo pata de macaco, quando comissionados com algumas palavras mal escolhidas. Por exemplo, a Air Canada experimentou recentemente um experimento quando configurou um chatbot para assistência ao cliente com um prompt para ser útil, juntamente com acesso ao site da Air Canada para uso em responder a perguntas dos clientes. O bot explicou com presteza uma política sobre tarifas de luto de uma forma muito mais generosa do que a política real da companhia aérea. A Air Canada tentou repudiar as promessas do bot, e falhou : Um tribunal decidiu que o cliente tinha direito a uma indenização.
Os agentes de hoje somam mais do que um chatbot típico, com três qualidades distintas. Primeiro, eles podem receber uma meta de alto nível, até mesmo vaga, e tomar medidas independentes para realizá-la, por meio de pesquisa ou trabalho próprio. A ideia é simples, mas poderosa. Por exemplo, um ano atrás, um técnico empreendedor desenvolveu uma IA que podia pedir uma pizza para ele. Ele confiou em ferramentas de software desenvolvidas por empresas como a OpenAI para criar uma "IA de alto nível" que pudesse fretar e comandar outras IAs. Essa IA de alto nível recebeu uma meta — pedir uma pizza de calabresa por voz de um determinado número de telefone — e então criou sua própria lista de tarefas e desenvolveu diferentes versões de si mesma para executar essas tarefas, incluindo priorizar diferentes etapas na lista e produzir uma versão de si mesma que fosse capaz de usar um conversor de texto para voz para fazer a ligação telefônica. Assim, a IA foi capaz de encontrar e ligar para uma pizzaria local e fazer o pedido.
Isso demonstra uma segunda qualidade dos agentes além do planejamento para atingir uma meta: eles podem interagir com o mundo em geral, usando diferentes ferramentas de software à vontade, como você pode fazer ao abrir o Excel ou fazer um pedido no DoorDash enquanto também navega na web. Com o convite e a bênção de empresas como a OpenAI, os modelos de IA generativa podem absorver informações do mundo externo e, por sua vez, afetá-las. Como diz a OpenAI , você pode “conectar GPTs a bancos de dados, conectá-los a e-mails ou torná-los seu assistente de compras. Por exemplo, você pode integrar um banco de dados de listagens de viagens, conectar a caixa de entrada de e-mail de um usuário ou facilitar pedidos de comércio eletrônico”. Os agentes também podem aceitar e gastar dinheiro.
Essa rotinização da IA que não fala simplesmente conosco, mas também age no mundo, é uma travessia da barreira hematoencefálica entre digital e analógico, bits e átomos. Isso deveria nos fazer parar para pensar.
Um exemplo não relacionado à IA vem à mente como um roteiro nefasto para o que pode estar por vir. No ano passado, um homem deixou uma bolsa contendo fios e um cofre do lado de fora do Harvard Yard. A polícia de Harvard então recebeu uma ligação com uma voz disfarçada avisando que era uma das três bombas no campus e que todas explodiriam em breve, a menos que a universidade transferisse dinheiro para um endereço de criptomoeda difícil de rastrear. A bolsa foi determinada como inofensiva. A ameaça era uma farsa.
Quando a polícia identificou e prendeu o homem que deixou a bolsa, descobriu-se que ele havia respondido a um anúncio do Craigslist oferecendo dinheiro para ele montar e levar aqueles itens para o campus. A pessoa por trás daquele anúncio — e das ligações ameaçadoras para Harvard — nunca foi encontrada. O homem que colocou os fios se declarou culpado apenas por esconder e apagar algumas mensagens de texto potencialmente incriminatórias e foi sentenciado à liberdade condicional, depois que as autoridades creditaram que ele não era o criador do complô. Ele não sabia que havia se juntado a uma conspiração para cometer extorsão.
Este evento em particular pode não ter envolvido IA, mas é fácil imaginar que um agente de IA poderia em breve ser usado para incitar uma pessoa a seguir cada um dos passos no caso de extorsão de Harvard, com um mínimo de incitação e orientação. Mais preocupante, tais ameaças podem facilmente escalar muito além do que uma única pessoa maliciosa conseguiria fazer sozinha; imagine quem estava por trás do plano de Harvard sendo capaz de decretá-lo em centenas ou milhares de cidades, tudo de uma vez. O ato não precisa ser tão dramático quanto uma ameaça de bomba. Poderia ser apenas algo como ficar de olho em uma pessoa em particular entrando em mídias sociais ou sites de emprego e imediatamente e incansavelmente postar respostas e avaliações depreciando-as.
Isso expõe a terceira qualidade dos agentes de IA: eles podem operar indefinidamente, permitindo que operadores humanos "configurem e esqueçam". Os agentes podem ser codificados manualmente ou alimentados por empresas que oferecem serviços da mesma forma que os cemitérios oferecem cuidados perpétuos para sepulturas ou que os bancos oferecem para administrar o dinheiro de alguém por décadas a fio. Ou os agentes podem até mesmo rodar em recursos de computação anônimos distribuídos entre milhares de computadores cujos proprietários são, por design, ignorantes do que está sendo executado — enquanto são pagos por seu poder de computação.
O problema aqui é que a IA pode continuar a operar muito além de qualquer utilidade inicial. Simplesmente não há como saber quais agentes mofados podem permanecer à medida que as circunstâncias mudam. Sem uma estrutura para identificar o que são, quem os configurou e como e sob qual autoridade desligá-los, os agentes podem acabar como lixo espacial : satélites lançados em órbita e depois esquecidos. Há o potencial não apenas para colisões únicas com satélites ativos, mas também para uma reação em cadeia de colisões : os fragmentos de uma colisão criam mais colisões e assim por diante, criando uma manopla possivelmente intransponível de estilhaços bloqueando futuros lançamentos de espaçonaves.
Se os agentes decolarem, eles podem acabar operando em um mundo bem diferente daquele que os criou — afinal, será um mundo com muitos agentes. Eles podem começar a interagir uns com os outros de maneiras não previstas, assim como fizeram no flash crash de 2010. Nesse caso, os bots foram criados por humanos, mas simplesmente agiram de maneiras estranhas durante circunstâncias não previstas. Aqui, os agentes definidos para traduzir objetivos vagos também podem escolher os meios errados para alcançá-los: um aluno que pede a um bot para "me ajudar a lidar com essa aula chata" pode involuntariamente gerar uma ameaça de bomba por telefone enquanto a IA tenta apimentar as coisas. Este é um exemplo de um fenômeno maior conhecido como hacking de recompensa , onde modelos e sistemas de IA podem responder a certos incentivos ou otimizar para certos objetivos, embora falte contexto crucial, capturando a letra, mas não o espírito do objetivo.
Mesmo sem colisões, imagine uma frota de agentes pró-Vladimir Putin jogando um longo jogo ao se juntar a fóruns de hobby, discutindo seriamente esses hobbies e, então, esperando por um momento aparentemente orgânico e oportuno para trabalhar em pontos de discussão políticos favorecidos. Ou um agente pode ser comissionado para configurar, anunciar e entregar uma recompensa oferecida pelas informações privadas de alguém, quando e onde quer que apareça. Um agente pode entregar anos depois em um rancor impulsivo — diz-se que a vingança é um prato que se come frio, e aqui ela poderia ser congelada criogenicamente.
Grande parte dessa conta permanece especulativa. Os agentes ainda não experimentaram um boom público e, por sua própria natureza, é difícil saber como eles serão usados ou quais proteções as empresas que os ajudam a oferecer implementarão. Os agentes, como grande parte do resto da tecnologia moderna, podem ter duas fases: muito cedo para dizer e muito tarde para fazer algo a respeito.
Nessas circunstâncias, devemos procurar intervenções de baixo custo que sejam comparativamente fáceis de concordar e que não sejam onerosas. Ian Ayres e Jack Balkin, da Faculdade de Direito de Yale, estão entre os acadêmicos jurídicos que estão começando a lutar com a melhor forma de categorizar agentes de IA e considerar seu comportamento. Isso teria sido útil no caso da Air Canada sobre o conselho impreciso de um bot a um cliente, onde o tribunal que ouviu a reclamação estava cético sobre o que considerou ser o argumento da companhia aérea de que "o chatbot é uma entidade legal separada que é responsável por suas próprias ações". E é particularmente importante avaliar atos conduzidos por agentes cujo caráter depende da avaliação das intenções do ator. Suponha que o agente esperando para atacar as postagens de mídia social de uma vítima não apenas menospreze a pessoa, mas a ameace. Ayres e Balkin apontam que a Suprema Corte decidiu recentemente que criminalizar ameaças verdadeiras requer que a pessoa que faz as ameaças entenda subjetivamente que está inspirando medo. Será necessária uma abordagem jurídica diferente para responder em toda a cadeia de suprimentos de IA quando agentes irrefletidos estiverem fazendo ameaças.
Intervenções técnicas podem ajudar com quaisquer distinções legais que surjam. No ano passado, pesquisadores da OpenAI publicaram um artigo bem pensado registrando alguns riscos de agentes. Lá, eles abordaram a possibilidade de que servidores executando bots de IA deveriam ter que ser identificados, e outros fizeram esforços para descrever como isso poderia funcionar .
Mas também podemos buscar refinar os padrões de internet existentes para ajudar a gerenciar essa situação. Os dados já são distribuídos on-line por meio de “pacotes”, que são rotulados com endereços de rede de remetentes e destinatários. Esses rótulos geralmente podem ser lidos por qualquer pessoa ao longo da rota dos pacotes, mesmo que a informação em si seja criptografada. Deve haver um novo espaço em branco especial no formato digital de um pacote para indicar que um pacote foi gerado por um bot ou um agente, e talvez um lugar para indicar algo sobre quando ele foi criado e por quem — assim como uma placa de carro pode ser usada para rastrear o dono de um carro sem revelar sua identidade a espectadores.
Permitir tais rótulos dentro do Protocolo de Internet daria aos designers de software e usuários uma chance de escolher usá-los, e permitiria que as empresas por trás, digamos, dos aplicativos DoorDash e Domino's decidissem se querem tratar um pedido de 20 pizzas de um humano de forma diferente de um feito por um bot. Embora qualquer sistema desse tipo pudesse ser contornado, os reguladores poderiam ajudar a encorajar a adoção. Por exemplo, designers e provedores de agentes poderiam receber um teto de danos pelos danos que seus agentes causam se decidirem rotular as atividades online de seus agentes.
O roteamento da Internet oferece uma lição adicional. Não há um mapa mestre da Internet porque ela foi projetada para que qualquer pessoa possa se conectar a ela, não passando por uma central telefônica, mas conectando-se a qualquer pessoa que já esteja online. A rede resultante é uma que depende de roteadores — estações de passagem — que podem se comunicar entre si sobre o que veem como próximo e o que veem como distante. Assim, um pacote pode ser passado adiante, de roteador para roteador, até chegar ao seu destino. Isso, no entanto, deixa em aberto a perspectiva de que um pacote pode acabar em sua própria forma de órbita eterna , sendo passado entre roteadores para sempre, por engano ou má intenção. É por isso que a maioria dos pacotes tem um “ tempo de vida ”, um número que ajuda a mostrar quantas vezes eles saltaram de um roteador para outro. O contador pode começar em, digamos, 64, e depois diminuir em um para cada roteador que o pacote passa. Ele morre em zero, mesmo que não tenha chegado ao seu destino.
Os agentes também poderiam e deveriam ter uma maneira padronizada de desacelerar: tantas ações, ou tanto tempo, ou tanto impacto, conforme convier ao seu propósito original. Talvez agentes projetados para durar para sempre ou ter um grande impacto pudessem receber mais escrutínio e revisão — ou serem obrigados a ter uma placa de carro — enquanto os mais modestos não, da mesma forma que bicicletas e patinetes não precisam de placas, assim como carros, e reboques de trator precisam de ainda mais papelada. Essas intervenções focam menos no que os modelos de IA são inatamente capazes de fazer no laboratório, e mais no que torna a IA agêntica diferente: eles agem no mundo real, mesmo que seu comportamento seja representado na rede.
É muito fácil para o ritmo estonteante da tecnologia moderna nos fazer pensar que devemos escolher entre mercados livres e regulamentação pesada — inovação versus estagnação. Isso não é verdade. O tipo certo de definição de padrões e toque regulatório pode tornar a nova tecnologia segura o suficiente para adoção geral — inclusive permitindo que os participantes do mercado sejam mais criteriosos sobre como interagem entre si e com seus clientes.
“Muito cedo para dizer” é, neste contexto, um bom momento para fazer um balanço e manter nossa agência em um sentido profundo. Precisamos permanecer no assento do motorista em vez de sermos escoltados por um motorista invisível agindo em suas próprias motivações inescrutáveis e em evolução, ou nas de um humano distante no tempo e no espaço.
Este ensaio é uma adaptação do próximo livro de Jonathan Zittrain sobre a humanidade ganhando poder e perdendo controle.
Jonathan Zittrain é professor de direito, ciência da computação e políticas públicas na Universidade de Harvard e cofundador do Centro Berkman Klein para Internet e Sociedade .
Comments