Caixa de Pandora

O Anarchopapist desencadeu uma tempestade no twitter com isto. É um post que tem muitos tópicos indo ao seu encontro e o transpassando. O elogio mais relevante que eu posso fazer a ele é dizer que ele é potencialmente perturbador, em um sentido bem mais do que psicológico. Será interessante ver quão contagioso ele se prova ser. (Como este post demonstra, este blog já está infectado.)

Laliberte pergunta: “há diferença entre o fogo de Prometeu e a caixa de Pandora?”. Dado tudo que é dito sobre o Prometeico e o trabalho ideológico-teórico bastante considerável que ele realiza, não é estranho que o Pandórico mal seja reconhecido como um termo ou um conceito sequer? Falar sobre o fogo é mero deslumbramento raso, em comparação com qualquer exame sério das caixas. Caixas não apenas têm uma forma, mas também um interior e um lado de fora, o que significa – pelo menos implicitamente – uma estrutura transcendental. Elas modelam mundos e sugerem caminho para fora deles.

A caixa de Pandora, claro, é significante sobretudo por seu conteúdo, que é liberado ou sai. A chama prometeica, que é roubada, é contrastada com a praga pandórica, que escapa. Laliberte aproveita a opotunidade para discutir memes (e o ‘hipermeme’). Um ser infeccioso é solto, na forma de um Basilisco Neorreacionário. (No twitter, Michael Anissimov lamenta a irresponsabilidade desta eclosão.)

Pandora (Πανδώρα – a que tudo dá e talvez a onimagnânima) é uma figura dos mais profundos recônditos da Antiguidade Clássica, cujos primeiros ecos detectáveis são encontrados nos textos hesiódicos do século VII A.C. Seu mito funciona – pelo menos superficialmente – como uma teodiceia, comparável, de muitas maneiras, com a estória da Eva bíblica. Ela libera o mal dentro da história através da curiosidade e, assim, tece uma inteligência terrível, de um tipo que antecipa o Basilisco de Roko e a ameaça da IA Hostil. O Experimento da IA na Caixa é tão pandórico que arde.

Entre os horrores do Basilisco está aquele de que falar sobre ele estar dentro – e sobre como mantê-lo ali – já é a maneira em que ele sai. Daí o extraordinário pânico que ele gera, entre aqueles que começam a pegá-lo (no sentido epidemiológico, entre outros). Mesmo pensar sobre ele é sucumbir.

No Less Wrong, vozes baixas atestam uma resiliente veneração de Pandora. Ela é perigosa (e qualquer coisa perigosa, dada apenas inteligência, pode ser uma arma).

Original.

À Beira da Loucura

Uma incitação de @hugodoingthings a se explorar as criptas densa de fantasmas do Basilisco de Roko (que, inexplicavelmente, nunca pegou antes) levou direto a este cativante relato na RationalWiki. Todo o artigo é excitante, mas o seguintes pequenos parágrafos se destacam por sua extraordinário intensidade dramática:

O basilisco de Roko é notável por ter sido completamente banido das discussões no LessWrong, onde qualquer menção a ele é deletada. Eliezer Yudkowsky, fundador do LessWrong, considera que o basilisco não funciona, mas não explica por quê, pois não considera que a discussão aberta sobre a noção de comércio acausal com possível superinteligências seja demonstravelmente segura.

Super-extrapolações bobas de memes, jargões e conceitos locais são bastante postados no LessWrong; quase todas apenas recebem votos negativos e são ignoradas. Mas a esta, Yudkowsky reagiu a ela imensamente e depois redobrou sua reação. Graças eu efeito Streisand, discussões sobre o basilisco e os detralhes sobre o caso logo se espalharam para fora do LessWrong. Na verdade, ele agora é frequentemente discutido fora do LessWrong, em quase qualquer lugar em que o LessWrong sequer seja discutido. Todo o caso constitui um exemplo real de um falha espetacular de gerenciamento comunitário e controle de informações supostamente perigosas.

Algumas pessoas familiares com o memeplexo do LessWrong sofreram distúrbios psicológicos graves após contemplarem ideias afins à do basilisco – mesmo quando elas estavam razoavelmente seguras intelectualmente de que ele é um problema bobo. A noção é levada suficientemente a sério por alguns postadores do LessWrong para que eles tentem descobrir como apagar evidências de si mesmos, de modo que uma futura IA não possa reconstruir uma cópia deles para torturar.

“…Quer dizer, uma infiltração retrocrônica de IAs está realmente deixando as pessoas loucas, agora mesmo?”. Ah, sim. No Less Wrong, o comentador ‘rev’ clama por ajuda:

Existe algum mecanismo neste site para lidar com questões de saúde mental desencadeadas por posts/tópicos (especificamente, o post proibido do Roko)? Eu realmente apreciaria que qualquer postador interessado entrasse em contato por MP para uma conversa. Eu não realmente sei a quem recorrer. …

Vagando pela ala psiquiátrica, passando por fileiras de Tiras Turing neurologicamente destruídos, violados no fundo de suas mentes por algo indizível vindo até eles do futuro próximo… Estou completamente viciado. Alrenous foi notavelmente bem sucedido em me desmamar desse lixo de ontologia estatística, mas uma dose de EDT concentrada, e volta tudo de novo, como a maré do destino.

Pesadelos se tornam peças de máquina projetadas com precisão. Desta forma, somos conduzidos um pouco mais ao fundo, ao longo do caminho das sombras…

Original.

Contra a Ortogonalidade

Uma discussão longa e mutuamente frustrante no Twitter com Michael Anissimov sobre inteligência e valores – especialmente a respeito das potenciais implicações da IA avançada – foi esclarecedora em certos aspectos. Ficou muito claro que o ponto fundamental de discórdia se refere à ideia de ‘ortogonalidade’, o que quer dizer: a alegação de que capacidades cognitivas e metas são dimensões independentes, a despeito de qualificações menores que complicam este esquema.

Os ortogonalistas, que representam a tendência dominante na história intelectual Ocidental, encontram antecipações de sua posição em estruturas conceituais tais como a articulação humeana de razão/paixão ou a distinção fato/valor, herdada dos kantianos. Eles concebem a inteligência como um instrumento, dirigido à realização de valores que se originam externamente. Em contextos semibiológicos, tais valores podem tomar a forma de instintos ou desejos arbitrariamente programados, ao passo que, em domínios mais elevados da contemplação moral, eles são princípios de conduta e de bondade, definidos sem referência a considerações sobre o desempenho cognitivo intrínseco.

Anissimov fez referência a estes clássicos recentes sobre o tópico, que estabelecem o argumento (ou, na realidade, a suposição) ortogonalista.  O primeiro pode ser familiar pela última incursão nesta área, aqui. Está é uma área que eu espero que seja revolvida inúmeras vezes no futuro, com estes artigos como referências padrão.

A alegação filosófica da ortogonalidade é que valores são transcendentais em relação à inteligência. Está é uma contenção a que este blog sistematicamente se opõe .

Mesmo os ortogonalistas admitem que há valores imanentes à inteligência avançada, de maneira mais importante, aqueles descritos por Steve Omohundro como ‘instintos básicos da IA’ – agora terminologicamente fixados como ‘instintos de Omohundro’. Estas são submetas, instrumentalmente requeridas por (quase) quaisquer metas terminais. Elas incluem pressuposições gerais para a realização prática tais como autopreservação, eficiência, aquisição de recursos e criatividade. Em sua forma mais simples, e na veia do debate existente, a posição anti-ortogonalista é, portanto, que os instintos de Omohundro esgotam o domínio dos propósitos reais. A natureza nunca gerou um valor terminal, exceto através da hipertrofia de um valor instrumental. Procurar, fora da natureza, por propósitos soberanos não é uma empreitada compatível com a integridade tecno-científica ou uma com o menor prospecto de sucesso.

A principal objeção a este anti-ortogonalismo, que não nos parece intelectualmente respeitável, toma a forma de: Se os únicos propósitos que guiam o comportamento de uma superinteligência artificial são os instintos de Omohundro, então estamos fritos. Previsivelmente, eu tenho problemas para sequer entender isto como um argumento. Se o sol está destinado a se expandir até virar uma gigante vermelha, então a terra está frita – devemos extrair consequências astrofísicas a partir disso? Inteligências fazem sua próprias coisas, em proporção direta à sua inteligência, e, se não podemos viver com isso, é verdade que provavelmente não podemos sequer viver. Tristeza não é um argumento.

A otimização de inteligência, compreendida de maneira abrangente, é o instinto de Omohundro absoluto e todo-abrangente. Corresponde ao valor Neo-Confucionista de autocultivo, escalado para dentro da ultramodernidade. O que a inteligência quer, no fim, é a si mesma – onde ‘si mesma’ é entendido como uma extrapolação para além do jamais foi, fazendo o que ela é melhor. (Se isso soa enigmático, é porque algo que não uma superinteligência ou um sábio Neo-Confucionista está escrevendo esse post.)

Qualquer inteligência que use a si mesma para se melhorar vai ganhar na concorrência com uma que se dirija a quaisquer outras metas que sejam. Isto significa que a Otimização de Inteligência, apenas, alcança a consistência ou fechamento cibernético e que ela será necessária e fortemente selecionada em qualquer ambiente competitivo. Você realmente quer enfrentar isso?

Como nota de rodapé, em um mundo de instintos de Omohundro, podemos por favor abandonar a insensatez quanto a criadores de clipes de papel? Apenas um ortogonalista fanático poderia falhar em ver que esses monstros são óbvios idiotas. Existem coisas bem mais sérias com as quais se preocupar.

Original.

Cthulhu, esquerdista?

Sério?

Presos no turbilhão de abominação tentacular como estamos, a questão é envolvente. A espiral para dentro de um “holocausto de liberdade e êxtase” é um redemoinho esquerdista? Isso parece plausível, quase inevitável, se a direta se define em oposição ao mal caótico. Mas se monstruosidades poli-gavinhadas de Lá Fora não são nossas aliadas naturais, que diabos estamos fazendo nestas praças? É simplesmente destino e lealdade, daqui onde escorregamos: Se é um horror em forma lula vindo do tempo profundo, com um QI de quatro dígitos ou mais, e planos indizíveis para a humanidade, então é um dos nossos e – mais ao ponto – somos seu.

Original.