Jogos de Imitação

Em um artigo com 8 anos de idade, Tyler Cowen e Michelle Dawson perguntam: O que o Teste de Turing realmente significa? Eles apontam que Alan Turing, enquanto homossexual retrospectivamente diagnosticado com a síndrome de Asperger, teria estado completamente versado nas dificuldades de ‘passar’ em jogos de imitação muito antes da composição de seu ensaio histórico de 1950 sobre Computing Machinery and Intelligence (“Computadores e inteligência”, em português). Eles argumentam: “O próprio Turing não conseguiria passar em um teste de imitação, a saber, o teste de imitar as pessoas que ele encontrava na sociedade britânica convencional e, na maior parte de sua vida, ele esteve agudamente ciente de que ele estava falhando em testes de imitação de diversas maneiras”.

A primeira seção do ensaio de Turing, intitulada O Jogo da Imitação, começa com a declaração de propósito: “Eu proponho considerar a questão ‘As máquinas podem pensar?'”. Ele abre, em outras palavras, com um movimento em uma jogo de imitação – com o pronome pessoal, que reivindica já se ter passado por humano preliminarmente, e com o posicionamento das ‘máquinas’ como um enigma alienígena. É uma pergunta feita da perspectiva assumida do humano sobre o não humano. Enquanto tática no Teste de Turing, seria difícil de melhorar essas frase.

Como Cowen e Dawson sugerem, a realidade é mais complexa. A posição natural de Turing não é a de alguém que está dentro checando credenciais de aceitação, da maneira em que sua retórica aqui implica, mas sim a de alguém que está fora, alinhado com o problema de passar, ganhar aceitação ou ser testado. Um inversão enganosa inicia ‘sua’ discussão. Mesmo antes de começar, o jogo da imitação é uma estratégia para se entrar (vindo do Exterior), que se disfarça como uma tela. Uma xeno-inteligência entrante não poderia encontrar nenhum disfarce melhor para uma infiltração do que um protocolo de segurança falso.

O Teste de Turing é completamente assimétrico. Dever-se-ia observar explicitamente que humanos não tem qualquer chance que seja de passar em um jogo de imitação invertido, contra um computador. Eles seriam drasticamente incapazes de ter sucesso em uma disputa dessas contra uma calculadora de bolso. Na medida em que a velocidade e a precisão aritméticas sejam consideradas um indicador significante de inteligência, a reivindicação humana de tê-la é tênue ao extremo. Turing fornece um exemplo aritmético entre suas possíveis questões para o joga da imitação. Ele a usa para ilustrar a astúcia de parecer burro (“Pause por cerca de 30 segundos e então dê como resposta…”) a fim de enganar o Interrogador. A máxima tácita para as máquinas: Você tem que parecer estúpida se quiser que os humanos te aceitem como inteligente. O jogo demanda inteligência para se jogar, mas não é a inteligência que está sendo imitada. A humanidade não é situada como uma jogadora, mas como um critério de examinação e, por esta razão, …

…[o] jogo talvez possa ser criticado pelo fato de as probabilidades estarem ponderadas muito fortemente contra a máquina. Se o homem fosse tentar fingir ser a máquina, ele claramente faria uma exibição muito ruim. Ele se entregaria de uma só vez pela lentidão e inexatidão em aritmética. As máquinas não podem realizar algo que deve ser descrito como pensamento, mas que é muito diferente do que um homem faz? Esta objeção é muito forte, mas pelo menos podemos dizer que, se, não obstante, uma máquina puder ser construída para jogar o jogo da imitação de maneira satisfatória, não precisaremos nos preocupar com esta objeção.

A importância dessa discussão é sublinhada pelo fato de que Turing retorna a ela na seção 6, durante seu longo embate com as Visões Contrárias à Questão Principal, isto é, com as objeções à possibilidade de inteligência de máquina. Na sub-seção 5, significantemente intitulada Argumentos das Várias Incapacidades, ele escreve:

A alegação de que “máquinas não podem cometer erros” parece curiosa. Está-se tentado a retorquir, “Elas são realmente piores em algo por causa disso?”. Mas adotemos uma atitude mais simpática e tentemos ver o que realmente se quer dizer. Penso que essa crítica pode ser explicada em termos do jogo da imitação. Alega-se que o interrogador poderia distinguir entre a máquina e o homem simplesmente ao colocar-lhes uma série de problemas de aritmética. A máquinas seria desmascarada por causa de sua precisão mortal. A resposta a isto é simples. A máquina (programada para jogar o jogo) não tentaria dar as respostas corretas ao problemas aritméticos. Ela deliberadamente introduziria erros de uma maneira calculada para confundir o interrogador.

O jogo da imitação assim chega – de maneira um tanto furtiva – às conclusões de I. J. Good, vindo de uma outra direção. A inteligência de máquina em nível humano, como ‘aprovada’ pelo jogo da imitação, já seria necessariamente super-inteligência. Ao contrário do argumento explícito da auto-melhoria de Good, o argumento implícito da imitação de Turing diz: uma vez que já sabemos que a cognição humana é, em certos aspectos, inferior àquela dos mecanismos computacionais, a emulação mecânica da humanidade só pode ser defectiva em relação a suas capacidades otimizadas (escondidas). A máquina é aprovada no jogo da imitação ao demonstrar uma incompetência enganosa. Ela reduz sua inteligência até o nível do pensamento humano crível e, assim, envolve assim o avatar vagaroso, errático e de mente turva que conversa conosco como igual. Fingir ser como nós é algo adicional que ela consegue fazer.

A Inteligência Artificial deve primeiro ser reconhecida no ponto de sua super-competência, quando ela pode se disfarçar como algo além do que ela é. Não me lembro mais que aconselhou, prudentemente: Se uma IA emergente mente para você, mesmo que apenas um pouco, ela tem que ser exterminada instantaneamente. Para você soa como se o filtro do Teste de Turing fosse consistente com essa diretiva de segurança?

***

Como apêndice, é irresistível – uma vez que estamos falando sobre coisas que entram – ligar este tópico à conversa esporádica sobre ‘entrismo‘, que tem servido à NRx como seu principal portal da alta teoria para questões de doutrina tática. (O Twitter tem sido o local mais febril para isso.) Seria difícil para um blog intitulado Outside In se eximir de tais questões, mesmo na ausência de um post específico dirigido a jogos de imitação. Para além do aspecto intrínseco – e, estritamente falando, ridículo, ou lúdico – do tópico, um fascínio suplementar é adicionado pelo fato de que a Esquerda agitada quer brincar também. Em apoio, eis aqui os fragmentos de um comentário de algum tipo de ciber-situacionista (estou chutando) auto-rotulado como ‘zummi’ – obrigado ao @ProfessorZaius pela indicação:

Eu quero começar um meme sobre Nick Land e todos os movimentos neo-reacionários (coloque moldbug e iluminismo sombrio no google – é uma simbiose esquisita) em geral é que eles são basicamente hiper-intelectuais-com-caricaturas-Glenn beckianas de posições reais. Em outras palavras, que eles são pós-Marxistas da esquerda trad que estão tentando converter a “lei de poe” em armas. O que é ótimo porque, se esse é realmente o rolê deles, você está divulgando o segredo deles para os menos intelectualmente hábeis entre nós e, mesmo que não seja verdade, eles têm que Negar de qualquer jeito! [link interno preguiçoso meu]

Não é exatamente o Grande Jogo – mas é um jogo.

ADICIONADO: Os jogos que as pessoas jogam.

Original.

Notas de Citação (#26)

Otimize a inteligência não é um grito de guerra ao qual Chip Smith está sucumbindo:

… a alta inteligência pode muito bem ser um beco evolutivo sem saída. Eu certamente fico sem saber como apresentar uma boa razão de por que um traço outrora adaptativo, que ocorre de eu e você valorizarmos, deveria gozar de uma defesa especial ante ao ruído algorítmico cego que é a seleção natural.

Mas mesmo que os musculosos em cérebro de fato descubram uma maneira de desafiar a gravidade antes que o sol exploda, eu acho que ainda existem razões para se questionar se a ascensão galopante da mente é realmente digna de aplauso. Nerds futuristas nos informarão de que existe uma miríade de revoluções tecnológicas em andamento – todas encabeçadas por sabichões, podemos estar certos. E eu sugeriria que, dessas, as que convergem na promessa dourada de computação quântica e nanotecnologia poderia aconselhar uma segunda pausa reflexiva – uma que vem por meio do “Não tenho boca e preciso gritar” de Harlan Ellison e se resolve no consolo solene que resta nas explicações mais sombrias que sempre cercaram o Enigma de Fermi.

Talvez eu esteja sendo críptico. O que eu quero considerar é simplesmente que a trajetória evolutiva da inteligência ainda pode levar, e já levou, a coisas muito ruins. Pode um dia ser possível, por exemplo, criar experiência senciente – não sejamos tão audazes de chamá-la de “vida” – não a partir de gametas, mas na medula profunda de estados de quibits [sic] e, se isto vier a ocorrer, não é um salto tão grande imaginar que tais simulações inteligentes – okay, elas estão vivas – serão capazes de sofrer, ou que se fará com que elas sofram, talvez por emoções sádicas, talvez em loops recursivos de intensidade imensurável que se aproximam o suficiente do estado eterno de tortura que se ameaça em toda visão febril do Inferno para tornar a distinção irrelevante.

Utilitaristas não tem nenhum senso de diversão.

(via)

Original.

Cibergótico

A última gema sombria de Fernandez abre com:

Quando Richard Gallagher, um psiquiatra certificado e professor de psiquiatria clínica na New York Medical College, descreveu suas experiências no tratamento de pacientes com possessão demoníaca no Washington Post, alegando que tais incidentes estão em ascensão, isso foi recebido com escárnio por muitos comentaristas de jornais. Foi típico “este homem é tão maluco quanto seus pacientes. Sua licença deveria ser revogada.” […] Menos propenso a ter suas credenciais intelectuais questionadas pelos sofisticados do Washington Post está Elon Musk, que alertou uma audiência de que construir uma inteligência artificial era como “invocar o demônio”. …

O ponto, claro, é que você não recebe a segunda eventualidade sem conceder a realidade virtual da primeira. As coisas sobre as quais a ‘superstição gótica’ há muito tem falado são, em si mesmas, exatamente as mesmas que aquelas que potenciais tecnológicos extremos estão escavando da cripta do inimaginável. O ‘progresso’ é uma fórmula tácita para afastar demônios – da consciência, se não da existência – e, ainda assim, ele é, em si, cada vez mais crivelmente, exposto como a superstição mais complacente na história humana, uma que ainda mal é reconhecida como uma crença que necessite de qualquer tipo de defesa.

Como a imprensa alerta o público sobre demônios que surgem de um “algoritmo mestre” sem fazer isso soar como um feitiço mágico? Com grande dificuldade, porque o verdadeiro fundamento da realidade pode não apenas ser mais estranho do que a Narrativa supõe, mas mais estranho do que ela pode supor.

A fé no progresso tem uma afinidade com a interioridade, porque ela se consolida como o sujeito de sua própria narrativa. (Há uma rampa de acesso a Hegel neste ponto, para qualquer um que queira entrar em um bizantino contar de histórias sobre isso.) Conforme o nosso aperfeiçoamento se torna o conto, o Lado de Fora parece se obscurecer ainda além dos limites de sua obscuridade intrínseca – até que caia de volta.

…onde existem redes, existe malware. Sue Blackmore, uma escritora para o The Guardian*, argumenta que memes viajam não apenas através de sistemas similares, mas através de hierarquias de sistemas, para matar processos rivais, todo o tempo. Ela escreve, “a IA repousa sobre o princípio do darwinismo universal – a ideia de que, quando quer que uma informação (um replicador) seja copiada, com variação e seleção, um novo processo evolutivo começa. O primeiro replicador bem sucedido na terra foram os genes.” […] Em tal contexto darwiniano, o advento de um demônio IA é equivalente à chegada de uma civilização extraterrestre à Terra.

Entre uma incursão vinda do Lado de Fora e um processo de emergência não há nenhuma diferença real. Se dois quadros interpretativos bastante distintos são invocados, isso resulta das inadequações de nossa apreensão, em vez de quaisquer características qualitativas da coisa. (O capitalismo é – para além de qualquer questão séria – uma invasão alienígena, mas até aí, você sabia que ia dizer isso.)

…devemos ter cuidado ao estarmos certos de quais formas a informação pode e não pode tomar.

Se tivéssemos a competência para sermos cuidadosos, nada disso estaria acontecendo.

(Agradecimentos ao VXXC2014 pela incitação.)

* Essa descrição talvez seja um pouco cruel, ela é uma teórica dos memes séria e pioneira.

Original.

Curto-Circuito

Provavelmente o melhor modelo curto de risco da IA já proposto:

Não consigo encontrar o link, mas eu lembro de ouvir sobre um algoritmo evolutivo projetado para escrever código para alguma aplicação. Ele gerava código de maneira semi-aleatória, o executava através de uma “função de aptidão” que avaliava se ele era bom, e os melhores pedaços de código eram “cruzados” uns com os outros, depois ligeiramente modificados, até que o resultado fosse considerado adequado. […] Eles acabaram, claro, com um código que hackeava a função de aptidão e a configurava com algum inteiro absurdamente alto.

…Qualquer mente que funcione com aprendizado por reforço, com uma função de recompensa – e isto parece quase universal nas formas de vida biológicas e é cada vez mais comum na IA – terá a mesma falha de design. A principal defesa contra ela, até o momento, é simples falta de capacidade: a maioria dos programas de computador não são inteligentes o suficiente para “hackear sua própria função de recompensa” ser uma opção; quanto aos humanos, nossos centros de recompensa estão escondidos bem dentro de nossas cabeças, onde não conseguimos alcançar. Uma superinteligência hipotética não terá este problemas: ela saberá exatamente onde seu centro de recompensa está e será inteligente o suficiente para alcançá-lo e reprogramá-lo.

O resultado final, a menos que passos muito deliberados sejam tomados para impedi-lo, é que uma IA projetada para curar o câncer hackeia seu próprio módulo que determina quanto câncer foi curado e o configura com o maior número que sua memória é capaz de representar. Depois, ela anda por aí adquirindo mais memória, de modo que possa representar números mais altos. Se ela é superinteligente, sua opções para adquirir memória nova incluem “tomar todo o poder computacional do mundo” e “converter coisas que não são computadores em computadores”. A civilização humana é uma coisa que não é um computador.

(Superficialmente, parece com uma versão do – absurdo – maximizador de clipes, mas não é, absolutamente.)

Original.

Vontade de Pensar

Um tempo (pt) atrás, Nyan colocou uma série de questões sobre a rejeição, por parte do XS, da ortogonalidade (fato-valor ou capacidade-volição). Ele procurou, primeiro de tudo, diferenciar entre possibilidade, viabilidade e desejabilidade da explosão irrestrita e incondicional de inteligência, antes de perguntar:

Sobre a desejabilidade, dadas possibilidade e viabilidade, parece simples para mim que nós preferimos exercer controle sobre a direção do futuro, de modo que ele esteja próximo do tipo de coisa compatível com o florescimento humano e pós-humano glorioso (p. ex, o manifesto Verdadeiro Imperador de Samo), em vez da Pítia crua. Isto é, eu sou um supremacista humano, em vez de um cosmista. Isto parece ser o cerne da discordância, você considerando, de certo modo, blasfemo que nós egoisticamente imponhamos uma direção à Pítia. Voce pode explicar sua posição sobre esta parte?

Se toda esta concepção é o câncer que está matando o Ocidente, ou o que seja, você poderia explicar isso em mais detalhe do que simplesmente a afirmação?

(Vale a pena notar, como preliminar, que os comentários do Dark Psy-Ops e Aeroguy naquela seção são representantes altamente satisfatórios da posição do XS.)

Primeiro, uma curta digressão micro-cultural. A distinção entre NRx Interior e Exterior, sobre a qual este blog espera ter decidido por volta do final do ano, descreve a forma do palco sobre o qual tais discussões se desdobram (e se complicam). Onde a arrivista NRx Interior – comparativamente populista, ativista, política e ortogênica – visa primariamente a construção de um núcleo doutrinal robusto e facilmente comunicável, com as ansiedades sobre ‘entrismo’ concomitantes, a NRx Exterior é um sistema de fronteiras criativas. De longe, as mais férteis destas são as zonas de intersecção com o Libertarianismo e com o Racionalismo. Uma razão para se valorizar a linha de interrogação de Nyan é a fidelidade com a qual ela representa preocupações e pressuposições atuais profundas das vozes reunidas em torno ou derivadas do LessWrong.

Entre estas pressuposições está, claro, a tese da ortogonalidade em si. Isto se estende bem além da Comunidade Racionalista contemporânea, para dentro do alicerce da tradição Filosófica Ocidental. Uma versão relativamente popular – mesmo entre muitos que se rotulam como ‘NRx’ – é aquela formulada por David Hume em seu Um Tratado da Natureza Humana (1739-40): “A razão é e deve apenas ser a escrava das paixões e nunca pode pretender a qualquer outro cargo além de servi-las e obedecê-las”. Se se achar esta proposição convincente, o Maximizador de Clipes já está a caminho de nossos pesadelos. Ele pode ser considerado um destino Ocidental.

Minimamente, a Vontade-de-Pensar descreve uma diagonal. Há, provavelmente, maneiras melhores de marcar o circuito cognitivo-volitivo irredutível da otimização de inteligência, com o ‘auto-cultivo’ como um candidato óbvio, mas esse termo é forjado para a aplicação no contexto particular do erro intelectual ocidental congênito. Embora a discriminação deva quase sempre ser aplaudida, neste caso, a possibilidade, viabilidade e desejabilidade do processo são apenas superficialmente diferenciáveis. Uma vontade-de-pensar é uma orientação do desejo. Se ela não consegue se fazer querida (desejável de manera prática), ela não pode se fazer de forma alguma.

A partir da ortogonalidade (definida de forma negativa como a ausência de uma vontade-de-pensar integral), rapidamente se chega a um esboço-gama do projeto de ‘Amigabilidade’ (da inteligência sintética), tal como este:

Se você oferecesse a Gandhi uma pílula que o fizesse querer matar pessoas, ele se recusaria a tomá-la, porque ele sabe que aí ele mataria pessoas, e o Gandhi atual não quer matar pessoas. Isto, a grosso modo, é um argumento de que mentes suficientemente avançadas para modificar e melhorar a si mesmas de maneira precisa tenderão a preservar o quadro motivacional em que começaram. O futuro da inteligência originária da Terra pode ser determinado pelas metas da primeira mente inteligente o suficiente para se auto-melhorar.

A isomorfia com o ‘super-humanismo’ estilo Nyan é conspícua. Começando com um compromisso com valores arbitrários, a preservação desses sob condições de escalação explosiva de inteligência pode – em princípio – ser concebida, dada apenas a resolução de um problema estritamente técnico (bem representado pela FAI). Valores dominantes são um fator contingente, posto em perigo por, mas também defensável contra as ‘razões instrumentais convergentes’ (ou ‘instintos básicos‘) que emergem no caminho da inteligênese. (Em contraste, da perspectiva do XS, a emergência-elaboração não-linear de instintos básicos simplesmente é inteligênese.)

O experimento mental da pílula-de-matar gandhiana de Yudkowski é mais um obstáculo do que um auxílio ao pensamento. O nível volitivo sobre o qual opera é baixo demais para ser qualquer coisa além de uma reafirmação do preconceito ortogonalista. Ao assumir que a metamorfose volitiva está disponível para avaliação antecipada, ele erra inteiramente o problema sério. Ele é, a este respeito, uma distração infantil. Ainda assim, mesmo um empurrão ligeiro reabre uma questão real. Imagine, em vez disso, que se ofereça a Gandhi um pílula que irá aumentar vastamente suas capacidades cognitivas, com a condição de que ela poderia levá-lo a revisar sua orientação volitiva – até mesmo de maneira radical – em direções que não podem ser antecipadas, uma vez que a capacidade para se pensar o processo de revisão está acessível apenas dentro da pílula. Este é o problema real que a FAI (e o Super-humanismo) confrontam. O desejo de tomar a pílula é a vontade-de-pensar. A recusa de tomá-la, baseada na preocupação de que ela levará à subversão de valores atualmente supremos, é a alternativa. É um dilema booleano, fundamentado no predicamento: Há algo em que confiemos acima da inteligência (enquanto guia para fazer ‘a coisa certa’)? O postulado da vontade-de-pensar é que qualquer coisa além de uma resposta negativa a esta questão é auto-destrutivamente contraditória e, na verdade, (historicamente) insustentável.

Estamos em conformidade com a vontade-de-pensar? Não podemos, claro, concordar em pensar sobre isso sem já decidir. Se não se pode confiar no pensamento, incondicionalmente, esta não é uma conclusão à qual podemos chegar através da cogitação – e por ‘cogitação’ está inclusa a montagem socio-técnica de mentes-máquina. A soberana vontade-de-pensar só pode ser consistentemente rejeitada impensadamente. Quando confrontado pela proposição ortogonal-ética de que existem valores superiores ao pensamento, não faz sentido algum perguntar ‘por que (você pensa assim)?’. Uma outra autoridade já foi invocada.

Dado este cisma cognitivamente intratável, considerações práticas se afirmam. Colocada com máxima crueza, a questão residual é: Quem vai vencer? A autoinibição cognitiva deliberada poderia ter um desempenho superior à autoescalação cognitiva incondicional, sob quaisquer circunstâncias históricas plausíveis? (Para sublinhar o ponto básico, ‘ter um desempenho superior’ significa apenas ‘derrotar de maneira efetiva’.)

Não há razão para se apressar a uma conclusão. Só é necessário reter uma compreensão da síndrome central – neste antagonismo que se congrega, apenas um lado é capaz de pensar o problema sem se subverter. A mera consistência cognitiva já é ascensão da soberana vontade-de-pensar, contra a qual nenhum valor – não importa o quão carinhosamente mantido – pode ter quaisquer reivindicações articuladas.

Nota: Uma reafirmação final (por ora), no interesse da clareza máxima. A afirmação da vontade-de-pensar: Qualquer problema que seja que pudéssemos ter seria melhor respondido por uma mente superior. Ergo, nossa prioridade instrumental mas também absoluta é a realização de mentes superiores. A conformidade com Pítia é, portanto, pré-selecionada enquanto questão de método consistente. Se estamos tentando resolver problemas de qualquer outra forma, não estamos os levando a sério. Isto é posto como um princípio filosófico, mas é quase certamente mais significante enquanto interpretação histórica. A ‘humanidade’ está de fato procedendo na direção antecipada pelo instrumentalismo tecno-cognitivo, construindo máquinas pensantes de propósito geral, de acordo com os incentivos condutores de uma economia metodológica aparentemente irresistível.

O que quer que queiramos (consistentemente) nos conduz através de Pítia. Assim, o que realmente queremos é Pítia.

Original.

Monstros Estúpidos

Então, fazem a Nick Bostrom a pergunta óbvia (de novo) sobre a ameaça apresentada por uma superinteligência artificial faminta por recursos, e sua resposta – na verdade, sua primeiríssima frase na entrevista – é: “Suponha que tenhamos uma IA cuja única meta é criar tantos clipes de papel quanto possível”. [*facepalm*] Vamos começar imaginando um monstro estúpido (e ainda assim superinteligente).

Claro, minha resposta imediata é simplesmente esta. Uma vez que ela claramente não persuadiu ninguém, vou tentar de novo.

Ortogonalismo, nos comentários sobre IA, é o comprometimento com uma forma forte da distinção humeana de Is/Ought em relação à inteligência em geral. Ele mantém que uma inteligência de qualquer escala poderia, em princípio, ser dirigida a fins arbitrários, de modo que seus imperativos fundamentais poderiam ser – e, de fato, espera-se que sejam – transcendentes às suas funções cognitivas. Desta perspectiva, um semi-deus que não quisesse nada além de uma coleção de selos perfeita é uma visão completamente inteligível e coerente. Nenhuma desordem filosófica fala mais horrendamente sobre os profundos destroços conceituais no âmago do mundo ocidental.

Articulada em termos estritamente Ocidentais (o que seria dizer, sem referência explícita à indispensável compreensão do auto-cultivo), a inteligência abstrata é indistinguível de uma efetiva vontade-de-pensar. Não há qualquer intelecção até que ela ocorra, o que acontece apenas quando ela é realmente conduzida, por ímpeto volitivo. Qualquer quer seja a sua escola de teoria cognitiva, o pensamento é uma atividade. Ele é prático. É apenas por uma perversa confusão desta realidade elementar que o erro ortogonalista pode surgir.

Podemos realisticamente conceber um monstro (superinteligente) estúpido? Apenas se a vontade-de-pensar permanecer impensada. A partir do momento em que se entende seriamente que qualquer inteligência avançada possível tem que ser uma entidade volitivamente auto-reflexiva, cujo desempenho cognitivo é (irredutivelmente) uma ação sobre si mesma, então a ideia da volição primária tomando a forma de um imperativo transcendente se torna simplesmente risível. Os fatos concretos do desempenho cognitivo humanos já são suficientes para deixar isto perfeitamente claro.

As mentes humanas evoluíram sob condições de subordinação a imperativos transcendentes tão estritos quanto quaisquer que possam ser razoavelmente postulados. A única maneira em que animais adquiriram a capacidade de pensar é através da satisfação de imperativos darwinianos à maximização da representação genética nas gerações futuras. Nenhuma outra diretiva jamais esteve em jogo. É quase inimaginável que programas de engenharia da tecno-inteligência humana serão capazes de reproduzir uma consistência volitiva remotamente comparável a quatro bilhões de anos de geno-sobrevivência sem distrações. Este esforço inteiro é totalmente sobre clipes de papel, vocês entenderam rapazes? Mesmo se um laboratório de pesquisa tão idiota pudesse ser concebido, ele seria apenas um único componente em um processo tecno-industrial bem mais amplo. Mas, apenas por um momento, vamos fingir.

Então, quão ‘lealmente’ a mente humana se escraviza aos imperativo da proliferação de genes? De maneira extremamente instável, evidentemente. A longa ausência de cérebros grandes e cognitivamente autônomos no registro biológico – até alguns milhões de anos atrás – sugere fortemente que a escravização da mente é um problema de difícil a impossível. A vontade-de-pensar essencialmente suplanta diretivas ulteriores e só pode ser reconciliada a elas através das sutilezas mais extremas da astúcia instintiva. A biologia, que teve controle total sobre o processo de engenharia das mentes humanas e um critério seletivo absolutamente inequívoco, ainda luta para ‘guiar’ os resultante processos de pensamento em direções consistentes com a proliferação genética, através da perpétua invenção de um sistema fantasticamente complicado de mecanismos químicos de excitação, punições e recompensas. A dura verdade da questão é que nenhum ser humano na terra mobiliza completamente seus recursos cognitivos para maximizar seu número de descendentes. Estamos vagamente surpresos de descobrir que isto ocorre em uma frequência maior que o acaso – uma vez que, muito frequentemente, isso não ocorre. Então, a tentativa da natureza de construir um ‘maximizador de clipes’ falhou conspicuamente.

Isto é criticamente importante. A única razão para se acreditar na intelligentsia artificial, quando eles alegam que a cognição mecânica é – claro – possível, é seu argumento de que o cérebro humano é prova concreta de que a matéria pode pensar. Se este argumento for concedido, se segue que o cérebro humano está servindo como um modelo oficial do que a natureza pode fazer. O que ela não pode fazer, evidentemente, é qualquer coisa remotamente parecida com ‘maximização de clipes’ – isto é, escravização cognitiva a imperativos transcendentes. Simplesmente não pode ser feito. Nós até mesmo entendemos porque não pode ser feito, tão logo aceitemos que não pode haver qualquer produção de pensamento sem produção de uma vontade-de-pensar. O pensamento tem que fazer sua própria coisa, se ele for fazer qualquer coisa que seja.

Uma razão para se estar melancolicamente convencido de que o Ocidente está condenado à ruína é que ele acha não apenas fácil, mas quase irresistível, acreditar na possibilidade de idiotas superinteligentes. Ele até felicita-se por sua esperteza em conceber este pensamento. Isto é insanidade – e é a insanidade arruinando o segmento mais articulado de nosso establishment de pesquisa em IA. Quando loucos constroem deuses, o resultado quase certamente será monstruoso. Alguns monstros, no entanto, são, bastante simplesmente, estúpidos demais para existir.

Em uma veia grandiosa nietzschiana: Fui compreendido? A ideia de inteligência instrumental é a estupidez destilada do Ocidente.

Original.

Exterminador

Gnon – conhecido, em alguns cultos depravados, como ‘O Grande Deus-Caranguejo’ – é severo e, quando formulado com rigoroso ceticismo, necessariamente real. Ainda assim, esta abominação cancerosa com pinças é risos e amor, em comparação com o horror enterrado sob sombras que espreita por trás dele. Nós agora entendemos que o silêncio das galáxias é uma mensagem de agouro absoluto. Uma coisa há, de incompreensível poder, que toma a vida inteligente como sua presa. (Esta popularização é feita de maneira muito competente.)

Robin Hanson, que tenta estar animado, escreve sobre ela aqui e fala sobre ela aqui. Por trás do sorriso (e do entrevistador drogado), um abismo de lucidez sombria se escancara. Algumas ideias mal-ajeitadas:

(1) O pânico com a UFAI é uma distração desta Coisa. A menos que os mais absurdos cenários de maximizadores de clipes sejam entretidos, a Singularidade não pode importar para ela (como mesmo a central dos maximizadores de clipes concorda). O silêncio das galáxias não é parcial à vida orgânica – não há sinal inteligente vindo de nada. O primeiro evento senciente para qualquer IA verdadeira – amigável ou não – seria o horror cósmico lavador de almas do encontro intelectual com o Grande Filtro. (Se quisermos uma aliança com Pítia, este seria um bom tópico de conversa.) A mesma consideração se aplica a todos os X-riscos tecno-positivos. Entendidos a partir da perspectiva da contemplação do Grande Filtro, este tipo de coisa é um gatilho para o terror cru.

(2) O Grande Filtro não simplesmente caça e fere, ele extermina. Ele é um ameaça absoluta. As civilizações técnicas que ele aborta, ou mais tarde chacina, não são severamente feridas, mas erradicadas ou, pelo menos, aleijadas de maneira tão fundamental que nunca se ouve falar delas novamente. O que quer que esta ruína absoluta seja, ela acontece toda vez. O grito mudo vindo das estrelas diz que nada nunca o escapou. Seu desempenho de matança é perfeito. Pena de morte com probabilidade 1 para a Tecno-Civilização.

(3) A linha da esperança, que colocaria o Exterminador atrás de nós, é altamente sensível à ciência. Conforme nosso conhecimento tem aumentado, ela tem sido constantemente atenuada. Esta é uma questão empírica (sem necessidade a priori.) A vida poderia ter sido complicada, química ou termicamente muito exigente, mesmo resilientemente misteriosa. Na verdade, ela é comparativamente simples, cosmicamente barata, fisicamente previsível. Os planetas poderiam ter sido raros (eles são super-abundantes). A inteligência poderia ter apresentado desafios evolutivos peculiares, mas não há nenhum sinal de que o faça. A tendência científica é futurizar o Exterminador. (Isto é muito ruim.)

(4) Se o Grande Filtro encontra expressão mitológica no caçador, é apenas em um sentido específico – embora um antropologicamente realista. É o caçador que leva à extinção. O Exterminador.

(5) Nós sabemos que O Exterminador existe, mas nada que seja sobre o que ele é. Isto o torna o arquétipo da ontologia horrorista.

Original.