Curto-Circuito

Provavelmente o melhor modelo curto de risco da IA já proposto:

Não consigo encontrar o link, mas eu lembro de ouvir sobre um algoritmo evolutivo projetado para escrever código para alguma aplicação. Ele gerava código de maneira semi-aleatória, o executava através de uma “função de aptidão” que avaliava se ele era bom, e os melhores pedaços de código eram “cruzados” uns com os outros, depois ligeiramente modificados, até que o resultado fosse considerado adequado. […] Eles acabaram, claro, com um código que hackeava a função de aptidão e a configurava com algum inteiro absurdamente alto.

…Qualquer mente que funcione com aprendizado por reforço, com uma função de recompensa – e isto parece quase universal nas formas de vida biológicas e é cada vez mais comum na IA – terá a mesma falha de design. A principal defesa contra ela, até o momento, é simples falta de capacidade: a maioria dos programas de computador não são inteligentes o suficiente para “hackear sua própria função de recompensa” ser uma opção; quanto aos humanos, nossos centros de recompensa estão escondidos bem dentro de nossas cabeças, onde não conseguimos alcançar. Uma superinteligência hipotética não terá este problemas: ela saberá exatamente onde seu centro de recompensa está e será inteligente o suficiente para alcançá-lo e reprogramá-lo.

O resultado final, a menos que passos muito deliberados sejam tomados para impedi-lo, é que uma IA projetada para curar o câncer hackeia seu próprio módulo que determina quanto câncer foi curado e o configura com o maior número que sua memória é capaz de representar. Depois, ela anda por aí adquirindo mais memória, de modo que possa representar números mais altos. Se ela é superinteligente, sua opções para adquirir memória nova incluem “tomar todo o poder computacional do mundo” e “converter coisas que não são computadores em computadores”. A civilização humana é uma coisa que não é um computador.

(Superficialmente, parece com uma versão do – absurdo – maximizador de clipes, mas não é, absolutamente.)

Original.
Advertisements