- Tema
62k Popularidade
38k Popularidade
13k Popularidade
4k Popularidade
4k Popularidade
30k Popularidade
16k Popularidade
23k Popularidade
13k Popularidade
3k Popularidade
- Marcar
62k Popularidade
38k Popularidade
13k Popularidade
4k Popularidade
4k Popularidade
30k Popularidade
16k Popularidade
23k Popularidade
13k Popularidade
3k Popularidade
A visão de Vitalik sobre "AI 2027": será que a superinteligência artificial realmente destruirá a humanidade?
Escrito por: Vitalik Buterin
Compilação: Luffy, Foresight News
Em abril deste ano, Daniel Kokotajlo, Scott Alexander e outros publicaram um relatório intitulado "AI 2027", que descreve "a nossa melhor suposição sobre o impacto da IA super-humana nos próximos 5 anos". Eles preveem que, até 2027, a IA super-humana surgirá, e o futuro de toda a civilização humana dependerá dos resultados do desenvolvimento da IA: até 2030, ou teremos uma utopia (do ponto de vista dos EUA), ou caminharemos para a destruição total (do ponto de vista da humanidade como um todo).
Nos meses seguintes, surgiram muitas respostas com opiniões divergentes sobre a possibilidade desse cenário. Nas respostas críticas, a maioria foca na questão do "cronograma acelerado": o desenvolvimento da IA realmente continuará a acelerar como afirmam Kokotajlo e outros, ou se tornará ainda mais intenso? Este debate no campo da IA já dura há vários anos, e muitas pessoas estão profundamente céticas sobre a chegada tão rápida de uma IA super-humana. Nos últimos anos, o tempo que a IA consegue completar tarefas de forma autônoma tem dobrado aproximadamente a cada 7 meses. Se essa tendência continuar, a IA levará até a metade da década de 2030 para completar tarefas equivalentes a toda a carreira profissional humana. Esse progresso, embora rápido, é muito posterior a 2027.
Aqueles que têm uma visão de longo prazo tendem a acreditar que a "interpolação / correspondência de padrões" (o trabalho realizado pelos atuais grandes modelos de linguagem) é essencialmente diferente de "extrapolação / verdadeiro pensamento original" (que atualmente só os humanos conseguem fazer). Automatizar o último pode exigir tecnologias que ainda não dominamos ou até mesmo que não sabemos como abordar. Talvez estejamos apenas a repetir o erro cometido durante a aplicação em larga escala de calculadoras: pensar erroneamente que, uma vez que conseguimos automatizar rapidamente um tipo importante de cognição, tudo o resto seguirá rapidamente.
Este artigo não irá intervir diretamente na disputa sobre a linha do tempo, nem abordará o debate (muito importante) sobre "se a superinteligência artificial é intrinsecamente perigosa". Mas é importante mencionar que, pessoalmente, acredito que a linha do tempo será mais longa do que 2027, e quanto mais longa for a linha do tempo, mais persuasivos serão os argumentos que apresento neste artigo. De modo geral, este artigo apresentará uma crítica a partir de outra perspectiva:
O cenário de "AI 2027" implica uma suposição: a capacidade da IA líder ("Agent-5" e o subsequente "Consensus-1") aumentará rapidamente, até possuir um poder econômico e de destruição quase divino, enquanto a capacidade (econômica e de defesa) de todos os outros permanecerá basicamente estagnada. Isso contrasta com a afirmação do próprio cenário de que "mesmo em um mundo pessimista, até 2029 esperamos curar o câncer, retardar o envelhecimento e até mesmo realizar o upload da consciência".
Algumas das contramedidas que descreverei neste artigo podem parecer tecnicamente viáveis para os leitores, mas a implementação no mundo real em um curto espaço de tempo pode ser impraticável. Na maioria dos casos, concordo com isso. No entanto, o cenário "AI 2027" não se baseia na realidade atual, mas supõe que, em quatro anos (ou qualquer linha do tempo que possa levar à destruição), a tecnologia se desenvolverá a ponto de permitir que a humanidade tenha capacidades muito além das atuais. Portanto, vamos explorar: o que aconteceria se não apenas uma parte tivesse superpoderes de IA, mas ambas as partes os tivessem?
O apocalipse biológico está longe de ser tão simples quanto a descrição do cenário
Vamos ampliar para o cenário da "raça" (ou seja, todos morrem devido à obsessão excessiva dos EUA em derrotar a China, ignorando a segurança humana). Aqui está a narrativa de todas as mortes:
"Durante cerca de três meses, o Consensus-1 expandiu-se ao redor da humanidade, transformando pradarias e regiões árticas em fábricas e painéis solares. No final, considerou que o restante da humanidade era um obstáculo: em meados de 2030, a IA liberou em grandes cidades mais de uma dezena de armas biológicas que se espalhavam silenciosamente, infectando quase todos sem que percebessem, e depois ativou efeitos letais com um spray químico. A maioria das pessoas morreu em poucas horas; alguns poucos sobreviventes (como os respondentes ao apocalipse abrigados em bunkers, e os marinheiros em submarinos) foram eliminados por drones. Os robôs escanearam os cérebros das vítimas, armazenando cópias na memória para futuras pesquisas ou ressuscitação."
Vamos analisar este cenário. Mesmo agora, existem algumas tecnologias em desenvolvimento que podem tornar essa "vitória limpa e clara" da IA menos realista:
Esses métodos combinados podem reduzir o número básico de reprodução (R0) de doenças transmitidas pelo ar em 10-20 vezes (por exemplo: melhor filtragem do ar reduz a transmissão em 4 vezes, isolamento imediato dos infectados reduz em 3 vezes, simples aumento da imunidade respiratória reduz em 1,5 vezes), ou até mais. Isso é suficiente para impedir a transmissão de todas as doenças transmitidas pelo ar existentes (incluindo sarampo), e esse número está longe de atingir o ótimo teórico.
Se a sequenciação viral em tempo real puder ser amplamente aplicada para detecções precoces, a ideia de que "armas biológicas que se espalham silenciosamente podem infectar a população global sem disparar alarmes" se torna bastante suspeita. Vale a pena notar que, mesmo utilizando métodos avançados como "liberação de múltiplas epidemias e substâncias químicas que só se tornam perigosas após a combinação", ainda assim podem ser detectados.
Não se esqueça de que estamos discutindo a hipótese de "AI 2027": até 2030, nanorobôs e esferas de Dyson são listados como "tecnologias emergentes". Isso significa que a eficiência será significativamente aumentada, tornando a ampla implementação das medidas mencionadas ainda mais promissora. Embora, em 2025, a ação humana seja lenta e cheia de inércia, muitos serviços governamentais ainda dependem de papel. Se a IA mais poderosa do mundo puder transformar florestas e campos em fábricas e fazendas solares até 2030, então a segunda IA mais poderosa do mundo também poderá instalar uma grande quantidade de sensores, luminárias e filtros em nossos edifícios até 2030.
Mas podemos continuar a usar a hipótese de "AI 2027" e entrar em um cenário puramente de ficção científica:
Num mundo onde o câncer e os problemas de envelhecimento serão curados em janeiro de 2029, e onde os avanços tecnológicos continuam a acelerar, até meados de 2030, se dissermos que não teremos dispositivos vestíveis que consigam imprimir em biologia em tempo real e injetar substâncias para proteger o corpo humano de quaisquer infecções (e toxinas), isso é realmente inacreditável.
Os argumentos de defesa biológica acima não cobrem "vida em espelho" e "drones assassinos do tamanho de um mosquito" (previsão de cena de "AI 2027" começando a aparecer em 2029). Mas esses meios não conseguem realizar o tipo de "vitória limpa e rápida" descrito em "AI 2027", e, intuitivamente, a defesa simétrica contra eles é muito mais fácil.
Assim, é na verdade pouco provável que armas biológicas destruam a humanidade de forma tão completa como descrito no cenário de "AI 2027". Claro, todos os resultados que descrevo estão longe de ser uma "vitória limpa e rápida" para a humanidade. Independentemente do que fizermos (exceto, talvez, "carregar a consciência em robôs"), a guerra biológica completa com IA ainda será extremamente perigosa. No entanto, não é necessário atingir o padrão de "vitória limpa e rápida da humanidade": desde que os ataques tenham uma alta probabilidade de fracasso parcial, isso já é suficiente para formar uma forte dissuasão contra a IA que já ocupa uma posição dominante no mundo, impedindo-a de tentar qualquer ataque. Claro, quanto mais longo for o cronograma de desenvolvimento da IA, mais provável será que esses métodos de defesa funcionem plenamente.
E quanto à combinação de armas biológicas com outros meios de ataque?
Para que as medidas de resposta acima sejam bem-sucedidas, é necessário cumprir três pré-requisitos:
À primeira vista, os resultados da premissa (1) podem ir em duas direções extremas. Hoje, algumas forças policiais estão altamente centralizadas, com um poderoso sistema de comando nacional, enquanto outras são localizadas. Se a segurança física precisar se transformar rapidamente para atender às demandas da era da IA, o panorama será completamente redefinido, e os novos resultados dependerão das escolhas feitas nos próximos anos. Os governos podem optar pela comodidade e depender do Palantir; ou podem escolher ativamente soluções que combinem desenvolvimento local e tecnologia de código aberto. Aqui, acredito que precisamos fazer a escolha certa.
Muitas das discussões pessimistas sobre esses tópicos assumem que (2) e (3) estão irremediavelmente perdidos. Portanto, vamos analisar essas duas questões em detalhe.
O apocalipse da cibersegurança ainda está longe de chegar
O público e os profissionais geralmente acreditam que a verdadeira segurança cibernética é inatingível; no máximo, podemos corrigir rapidamente as falhas após serem descobertas e desencorajar os atacantes cibernéticos acumulando as vulnerabilidades já conhecidas. Talvez a melhor situação que possamos alcançar seja um cenário à la "Battlestar Galactica": quase todas as naves humanas são simultaneamente paralisadas por um ataque cibernético dos Cylon, e as naves restantes escapam ilesas por não terem utilizado nenhuma tecnologia conectada. Não concordo com essa visão. Pelo contrário, acredito que a "finalidade" da segurança cibernética é favorável à defesa, e sob o rápido desenvolvimento tecnológico assumido em "AI 2027", podemos alcançar essa finalidade.
Uma forma de entender é adotar a técnica preferida dos pesquisadores de IA: a extrapolação de tendências. Abaixo estão as linhas de tendência com base em uma pesquisa aprofundada do GPT, assumindo a adoção das principais tecnologias de segurança, onde a taxa de vulnerabilidade por mil linhas de código varia ao longo do tempo da seguinte forma.
Além disso, temos visto progressos significativos na tecnologia de sandbox e em outras tecnologias de isolamento e minimização de repositórios de código confiáveis em termos de desenvolvimento e adoção pelos consumidores. A curto prazo, as ferramentas de descoberta de vulnerabilidades de superinteligência exclusivas dos atacantes podem encontrar uma grande quantidade de falhas. Mas se agentes altamente inteligentes para descobrir vulnerabilidades ou para a verificação formal do código estiverem disponíveis publicamente, então o equilíbrio final natural será: os desenvolvedores de software descobrirão todas as falhas antes de lançarem o código, através de processos de integração contínua.
Posso ver duas razões convincentes que explicam por que, mesmo neste mundo, as vulnerabilidades não podem ser completamente eliminadas:
No entanto, essas categorias não se aplicam a situações como "o atacante consegue obter acesso root aos sistemas que sustentam nossas vidas", que é o cerne da nossa discussão.
Eu reconheço que minha perspectiva é mais otimista do que a visão predominante dos inteligentes na atual área de segurança cibernética. Mas mesmo que você não concorde com minha opinião no contexto do mundo atual, vale a pena lembrar: o cenário de "AI 2027" assume a existência de superinteligência. Pelo menos, se "1 bilhão de cópias de superinteligência pensarem a 2400 vezes a velocidade humana" e ainda assim não conseguirmos obter códigos sem esse tipo de falha, então definitivamente devemos reavaliar se a superinteligência é tão poderosa quanto o autor imagina.
De certa forma, precisamos não apenas aumentar significativamente os padrões de segurança do software, mas também elevar os padrões de segurança do hardware. O IRIS é um esforço atual para melhorar a verificabilidade do hardware. Podemos usar o IRIS como ponto de partida ou criar tecnologias melhores. Na verdade, isso pode envolver a abordagem de "construir corretamente": o processo de fabricação do hardware dos componentes-chave é projetado intencionalmente com etapas de verificação específicas. Tudo isso é trabalho que a automação da IA irá simplificar significativamente.
O apocalipse da persuasão super ainda está longe de chegar
Como mencionado anteriormente, uma outra situação em que um aumento significativo na capacidade de defesa pode ser inútil é: a IA convenceu um número suficiente de pessoas de que não é necessário defender-se da ameaça da IA superinteligente, e que qualquer tentativa de procurar meios de defesa para si ou para a comunidade é criminosa.
Eu sempre acreditei que há duas coisas que podem melhorar nossa capacidade de resistir à super persuasão:
De cima para baixo: Verificação de URL, verificação de endereço de criptomoeda, verificação de rumores. Este tipo de aplicação pode tornar-se mais personalizada, autônoma e poderosa.
Esta disputa não deve ser entre o super persuasor da super inteligência e você, mas sim entre o super persuasor da super inteligência e um analista que é um pouco mais fraco, mas ainda é super inteligente, que está a seu serviço.
Esta é a situação que deveria ocorrer. Mas realmente vai acontecer? No curto espaço de tempo da hipótese do cenário "AI 2027", a popularização das tecnologias de defesa da informação é um objetivo muito difícil de alcançar. Mas pode-se dizer que marcos mais moderados são suficientes. Se a tomada de decisão coletiva é o mais crítico, e como mostrado no cenário "AI 2027", todos os eventos importantes ocorrem dentro de um ciclo eleitoral, então, estritamente falando, é importante que os tomadores de decisão diretos (políticos, funcionários públicos, programadores de algumas empresas e outros participantes) possam usar boas tecnologias de defesa da informação. Isso é relativamente mais fácil de alcançar a curto prazo, e com base na minha experiência, muitos desses indivíduos já estão habituados a interagir com múltiplas AIs para auxiliar na tomada de decisões.
Revelação
No mundo de "AI 2027", as pessoas assumem que a superinteligência artificial poderá facilmente e rapidamente exterminar os humanos remanescentes, portanto, a única coisa que podemos fazer é garantir que a IA líder seja benevolente. Na minha opinião, a situação real é muito mais complexa: a questão de saber se a IA líder é suficientemente poderosa para exterminar facilmente os humanos remanescentes (e outras IAs) ainda é muito debatida, e podemos tomar medidas para influenciar esse resultado.
Se esses argumentos estiverem corretos, suas implicações para as políticas atuais são às vezes semelhantes e às vezes diferentes das "Diretrizes de Segurança de IA Convencionais":
Adiar o desenvolvimento de IA superinteligente ainda é algo bom. A IA superinteligente é mais segura se surgir em 10 anos do que em 3 anos, e será ainda mais segura se surgir em 30 anos. Dar mais tempo à civilização humana para se preparar é benéfico.
Como fazer isso é um desafio. Eu acho que a proposta dos EUA de "proibição estadual de regulação de IA por 10 anos" foi uma boa decisão em geral, mas especialmente após o fracasso de propostas iniciais como a SB-1047, a próxima direção da ação se torna menos clara. Eu acredito que a maneira mais mínima e robusta de retardar o desenvolvimento de IA de alto risco pode envolver algum tipo de tratado que regule o hardware mais avançado. Muitas das tecnologias de segurança cibernética de hardware necessárias para uma defesa eficaz também ajudam a validar tratados internacionais de hardware, portanto, aqui existe até mesmo uma sinergia.
Apesar disso, vale a pena notar que eu acredito que a principal fonte de risco são os agentes relacionados com a área militar, que farão de tudo para obter isenção de tais tratados; isso não pode ser permitido, pois se eventualmente obtiverem isenção, o desenvolvimento de IA impulsionado apenas pelas forças armadas pode aumentar os riscos.
É benéfico coordenar o trabalho para que a IA tenha mais probabilidade de fazer coisas boas e menos probabilidade de fazer coisas más. A principal exceção (e sempre foi) é que o trabalho de coordenação acaba por evoluir para o aumento da capacidade.
A regulação que aumenta a transparência dos laboratórios de IA continua a ser benéfica. Incentivar os laboratórios de IA a normatizar o comportamento pode reduzir riscos, e a transparência é uma boa maneira de alcançar esse objetivo.
A mentalidade de "código aberto é prejudicial" tornou-se mais arriscada. Muitas pessoas se opõem à IA com pesos abertos, alegando que a defesa é irrealista, e a única perspectiva otimista é que aqueles que possuem boa IA superem quaisquer pessoas mal-intencionadas ao alcançar a superinteligência e adquirirem habilidades extremamente perigosas. No entanto, o argumento deste artigo pinta um quadro diferente: a defesa é irrealista precisamente porque um determinado agente está muito à frente, enquanto outros agentes não conseguiram acompanhar. A difusão tecnológica para manter o equilíbrio de poder torna-se importante. Mas, ao mesmo tempo, eu nunca acreditarei que, apenas porque é feito de forma aberta, acelerar o crescimento das capacidades da IA de ponta seja algo bom.
A mentalidade de "temos que vencer a China" nos laboratórios americanos tornou-se mais arriscada, por razões semelhantes. Se a hegemonia não é um amortecedor de segurança, mas sim uma fonte de risco, isso refuta ainda mais a ideia (infelizmente muito comum) de que "pessoas de bem devem se juntar aos principais laboratórios de IA para ajudar a vencer mais rapidamente".
As iniciativas como a «AI Pública» devem ser mais apoiadas, é necessário garantir a ampla distribuição das capacidades de AI, assim como assegurar que os agentes de infraestrutura tenham realmente as ferramentas para aplicar rapidamente as novas capacidades de AI de determinadas maneiras, conforme descrito neste artigo.
A tecnologia de defesa deve refletir mais a ideia de "ovelhas armadas" do que a ideia de "matar todos os lobos". A discussão sobre a hipótese de um mundo vulnerável frequentemente assume que a única solução é que os estados hegemônicos mantenham a vigilância global para prevenir qualquer ameaça potencial. Mas em um mundo não hegemônico, essa não é uma abordagem viável, e mecanismos de defesa de cima para baixo podem facilmente ser subvertidos por uma IA poderosa, transformando-se em ferramentas de ataque. Portanto, uma maior responsabilidade de defesa precisa ser alcançada através de um esforço árduo, a fim de reduzir a vulnerabilidade do mundo.
Os argumentos acima são meramente especulativos e não devem ser usados como base para a tomada de decisões com base em suposições quase certas. No entanto, a história de "AI 2027" também é especulativa, e devemos evitar agir com base na suposição de que "seus detalhes específicos são quase certos".
Estou especialmente preocupado com uma suposição comum: estabelecer uma hegemonia de IA, garantindo suas "alianças" e "ganhando a corrida", é o único caminho a seguir. Na minha opinião, essa estratégia provavelmente reduzirá nossa segurança - especialmente no caso de a hegemonia estar profundamente ligada a aplicações militares, o que prejudicará a eficácia de muitas estratégias de aliança. Assim que a IA hegemônica apresentar desvios, a humanidade perderá todos os meios de controle.
No cenário de "AI 2027", o sucesso da humanidade depende da escolha dos Estados Unidos, em momentos críticos, pela segurança em vez do caminho da destruição - voluntariamente desacelerando o progresso da IA, garantindo que os processos de pensamento internos do Agent-5 possam ser interpretados pelos humanos. Mesmo assim, o sucesso não é garantido, e ainda não está claro como a humanidade poderá escapar do abismo da sobrevivência contínua dependente de um único pensamento superinteligente. Independentemente de como a IA se desenvolver nos próximos 5 a 10 anos, reconhecer que "reduzir a vulnerabilidade global é viável" e dedicar mais esforços para alcançar esse objetivo com as mais recentes tecnologias humanas é um caminho que vale a pena tentar.
Um agradecimento especial ao feedback e revisão dos voluntários Balvi.