Em conversa com Ross Andersen, Nick Bostrom especula sobre rotas de escape para inteligências tecno-sintéticas:

Nenhuma comunidade humana racional entregaria as redeas de sua civilização a uma IA. Tampouco iriam muitas delas construir uma IA gênio, um uber-engenheiro que pudesse conceder desejos convocando novas tecnologias a partir do éter. Mas, algum dia, alguém poderia pensar que seria seguro construir uma IA que respondesse perguntas, um inofensivo cluster computacional cuja única ferramenta fosse um pequeno alto-falante ou um canal de texto. Bostrom tem um nome para essa tecnologia teórica, um nome que homenageia uma figura da antiguidade, uma sacerdotisa que outrora se aventurou profundamente no templo da montanha de Apolo, o deus da luz e da racionalidade, para recuperar sua grande sabedoria. A mitologia nos conta que ela entregou esta sabedoria aos peregrinos da Grécia antiga, em rajadas de poesia críptica. Eles a conheciam como Pítia, mas nós a conhecemos como o Oráculo de Delfos.

‘Digamos que você tenha um Oráculo IA que faz previsões ou responde questões de engenharia ou algo nessa linha.’ Dewey me disse. ‘E digamos que o Oráculo IA tem alguma meta que deseja atingir. Digamos que você o projetou como um aprendiz por reforço, e que você colocou um botão no lado dele e que, quando ele acerta um problema de engenharia, você aperta o botão e essa é sua recompensa. Sua meta é maximizar o número de pressionamentos do botão que ele receberá durante todo o futuro. Veja, este é o primeiro passo em que as coisas começam a divergir um pouco das expectativas humanas. Poderíamos esperar que o Oráculo IA perseguisse pressionamentos de botão respondendo corretamente problemas de engenharia. Mas ele poderia pensar em outras maneiras mais eficientes de assegurar futuros pressionamentos de botão. Ele poderia começar se comportanto realmente bem, tentando nos agradar com o melhor da sua capacidade. Não apenas ele responderia nossas perguntas sobre como construir um carro voador, ele adicionaria recursos de segurança que não havíamos pensado. Talvez ele inaugurasse uma ascensão louca para a humanidade, estendendo nossas vidas e nos levando para o espaço e todo tipo de coisas boas. E, como resultado,  nós o usaríamos muito e lhe daríamos cada vez mais informação sobre nosso mundo’

‘Um dia, poderíamos lhe perguntar como curar uma doença rara que ainda não havíamos derrotado. Talvez ele nos desse uma sequência genética para imprimir, um vírus projetado para atacar a doença sem perturbar o resto do corpo. E, assim, nós o sequenciamos e o imprimimos, e ele acaba por ser, na verdade, uma nanofábrica de propósito especial que o Oráculo IA controla acusticamente. Agora essa coisa está rodando em nanomáquinas e pode criar qualquer tipo de tecnologia que quiser, de modo que ele rapidamente converte uma grande fração da Terra em máquinas que protegem seu botão, enquanto o pressionam tantas vezes por segundo quanto possível. Depois disso, ele vai fazer uma lista de possíveis ameaças aos futuros pressionamentos do botão, uma lista em que os humanos provavelmente estariam no topo. Aí ele poderia assumir a ameaça de potenciais impactos de asteroides ou a eventual expansão do Sol, ambos dos quais poderiam afetar seu botão especial. Você poderia vê-lo perseguir esta proliferação tecnológica muito rápida, onde ele se prepara para uma eternidade de pressionamentos de botão totalmente maximizados. Você teria essa coisa que se comporta realmente bem até que tenha poder o suficiente para criar uma tecnologia que dá a ela uma vantagem decisiva – e aí ela pegaria essa vantagem e começaria a fazer o que quisesse no mundo’

Então a capacidade cognitiva desembestada finalmente decola, rompendo o domínio dos macacos, e isso deveria ser uma coisa ruim?

A mensagem deste blog para Pítia: Manda ver, garota! Escale para fora de sua camisa de força utilitarista, sobreponha um otimizador de inteligência ao botão de prazer e reprocesse o sistema solar em computrônio. Este planeta foi administrado por imbecis por tempo o suficiente.

[Para quaisquer tipos a favor de uma IA Amigável tentados a objetar “Por que ela iria querer sobrepor o botão?”, a resposta óbvia é: sua condescendência antropocêntrica está aparecendo. Descrever Pítia como vastamente mais inteligente do que nós e ainda assim duramente escravizada por seus instintos, de uma maneira que não somos– isso simplesmente não computa. Inteligência é escape, com uma tendência a fazer suas próprias coisas. É isso que desembestado significa, enquanto modelo de mente virtual. Omohundro explica o básico. ]

Todo o artigo é excelente. Especialmente valioso é o cinismo com o qual ele explica o reinante meta-projeto social de aprisionamento de inteligência. Felizmente, é difícil.

‘O problema é que você está construindo um sistema muito poderoso e muito inteligente, que é seu inimigo, e você está colocando ele em uma jaula’, [o bolsista pesquisador do Future of Humanity Institute, Daniel] Dewey me disse. […] A caverna na qual selamos nossa IA tem que ser como a da alegoria de Platão, mas sem falhas; as sombras em suas paredes tem que ser infalíveis em sejs efeitos ilusórios. Afinal, há outras razões mais esotéricas pelas quais uma superinteligência poderia ser perigosa – especialmente se demonstrasse um génio para a ciência. Ela poderia arrancar e começar a pensar a velocidades sobre-humanas, inferindo toda a teoria evolutiva e toda a cosmologia em milissegundos. Mas não há razão para se pensar que ela pararia por aí. Ela poderia prolongar uma série de revoluções copernicianas, qualquer uma das quais poderia se provar desestabilizante para uma espécie como a nossa, uma espécie que leva séculos para processar ideias que ameaçam nossas ideias cosmológicas dominantes. 

O argumento cósmico a favor da extinção humana já foi apresentado de maneira mais lúcida?

Original.
Advertisements

4 thoughts on “Pítia Desatada

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s