Cibergótico

A última gema sombria de Fernandez abre com:

Quando Richard Gallagher, um psiquiatra certificado e professor de psiquiatria clínica na New York Medical College, descreveu suas experiências no tratamento de pacientes com possessão demoníaca no Washington Post, alegando que tais incidentes estão em ascensão, isso foi recebido com escárnio por muitos comentaristas de jornais. Foi típico “este homem é tão maluco quanto seus pacientes. Sua licença deveria ser revogada.” […] Menos propenso a ter suas credenciais intelectuais questionadas pelos sofisticados do Washington Post está Elon Musk, que alertou uma audiência de que construir uma inteligência artificial era como “invocar o demônio”. …

O ponto, claro, é que você não recebe a segunda eventualidade sem conceder a realidade virtual da primeira. As coisas sobre as quais a ‘superstição gótica’ há muito tem falado são, em si mesmas, exatamente as mesmas que aquelas que potenciais tecnológicos extremos estão escavando da cripta do inimaginável. O ‘progresso’ é uma fórmula tácita para afastar demônios – da consciência, se não da existência – e, ainda assim, ele é, em si, cada vez mais crivelmente, exposto como a superstição mais complacente na história humana, uma que ainda mal é reconhecida como uma crença que necessite de qualquer tipo de defesa.

Como a imprensa alerta o público sobre demônios que surgem de um “algoritmo mestre” sem fazer isso soar como um feitiço mágico? Com grande dificuldade, porque o verdadeiro fundamento da realidade pode não apenas ser mais estranho do que a Narrativa supõe, mas mais estranho do que ela pode supor.

A fé no progresso tem uma afinidade com a interioridade, porque ela se consolida como o sujeito de sua própria narrativa. (Há uma rampa de acesso a Hegel neste ponto, para qualquer um que queira entrar em um bizantino contar de histórias sobre isso.) Conforme o nosso aperfeiçoamento se torna o conto, o Lado de Fora parece se obscurecer ainda além dos limites de sua obscuridade intrínseca – até que caia de volta.

…onde existem redes, existe malware. Sue Blackmore, uma escritora para o The Guardian*, argumenta que memes viajam não apenas através de sistemas similares, mas através de hierarquias de sistemas, para matar processos rivais, todo o tempo. Ela escreve, “a IA repousa sobre o princípio do darwinismo universal – a ideia de que, quando quer que uma informação (um replicador) seja copiada, com variação e seleção, um novo processo evolutivo começa. O primeiro replicador bem sucedido na terra foram os genes.” […] Em tal contexto darwiniano, o advento de um demônio IA é equivalente à chegada de uma civilização extraterrestre à Terra.

Entre uma incursão vinda do Lado de Fora e um processo de emergência não há nenhuma diferença real. Se dois quadros interpretativos bastante distintos são invocados, isso resulta das inadequações de nossa apreensão, em vez de quaisquer características qualitativas da coisa. (O capitalismo é – para além de qualquer questão séria – uma invasão alienígena, mas até aí, você sabia que ia dizer isso.)

…devemos ter cuidado ao estarmos certos de quais formas a informação pode e não pode tomar.

Se tivéssemos a competência para sermos cuidadosos, nada disso estaria acontecendo.

(Agradecimentos ao VXXC2014 pela incitação.)

* Essa descrição talvez seja um pouco cruel, ela é uma teórica dos memes séria e pioneira.

Original.

Curto-Circuito

Provavelmente o melhor modelo curto de risco da IA já proposto:

Não consigo encontrar o link, mas eu lembro de ouvir sobre um algoritmo evolutivo projetado para escrever código para alguma aplicação. Ele gerava código de maneira semi-aleatória, o executava através de uma “função de aptidão” que avaliava se ele era bom, e os melhores pedaços de código eram “cruzados” uns com os outros, depois ligeiramente modificados, até que o resultado fosse considerado adequado. […] Eles acabaram, claro, com um código que hackeava a função de aptidão e a configurava com algum inteiro absurdamente alto.

…Qualquer mente que funcione com aprendizado por reforço, com uma função de recompensa – e isto parece quase universal nas formas de vida biológicas e é cada vez mais comum na IA – terá a mesma falha de design. A principal defesa contra ela, até o momento, é simples falta de capacidade: a maioria dos programas de computador não são inteligentes o suficiente para “hackear sua própria função de recompensa” ser uma opção; quanto aos humanos, nossos centros de recompensa estão escondidos bem dentro de nossas cabeças, onde não conseguimos alcançar. Uma superinteligência hipotética não terá este problemas: ela saberá exatamente onde seu centro de recompensa está e será inteligente o suficiente para alcançá-lo e reprogramá-lo.

O resultado final, a menos que passos muito deliberados sejam tomados para impedi-lo, é que uma IA projetada para curar o câncer hackeia seu próprio módulo que determina quanto câncer foi curado e o configura com o maior número que sua memória é capaz de representar. Depois, ela anda por aí adquirindo mais memória, de modo que possa representar números mais altos. Se ela é superinteligente, sua opções para adquirir memória nova incluem “tomar todo o poder computacional do mundo” e “converter coisas que não são computadores em computadores”. A civilização humana é uma coisa que não é um computador.

(Superficialmente, parece com uma versão do – absurdo – maximizador de clipes, mas não é, absolutamente.)

Original.

Democratização do X-Risco

Yudkowsky revisto: “A cada dezoito meses, o QI mínimo necessário para destruir o mundo cai em um ponto”.

Tergiverse sobre a programação (satírica da Lei de Moore), e o ponto ainda está de pé. A capacidade dissuasiva massiva tende a se espalhar.

Isso é ‘democrático’ na maneira em que o termo é comumente usado por aqueles que buscam aferrolhar as tendências de descentralização à credibilidade ideológica dos princípios de legitimação jacobinos. O capitalismo de consumo, a Internet e cripto-sistemas peer-to-peer são teoricamente ‘democráticos’ desta maneira. Eles subvertem a governança centralizada e se espalham através do contágio horizontal. O fato de que eles não tem absolutamente nada a ver com a representação política popular é de interesse de apenas certas agendas retóricas, e de forma alguma de outras. É besteira sofística pop-capitalista usar a palavra democracia desta maneira, mas normalmente não vale a pena para a Esquerda o trabalho de contestá-la, e a parte da Direita que não está animada em andar de carona nessa estratégia de propaganda normalmente é indiscriminada demais para se incomodar em se desembaraçar dela. Há um raro artigo de RP ‘direitista’ funcional aqui, mas nunca o suficiente para importar muito (e é essencialmente desonesta demais para a Direita Exterior defender).

Ao contrário da Democracia® (ideologia da Catedral), contudo, essa ‘democratização’ tem uma profunda consistência cibernética. Ela cai para fora do tecno-capitalismo com tamanha inevitabilidade automática que provavelmente é impossível de desligar sem encerrar a coisa toda. A escalação do capital produz a deflação tecnológica como seu subproduto metabólico básico, de modo que a ‘democratização’ da capacidade produtiva é inelutável. Os computadores migraram de exóticos bens de capital para componentes triviais de produtos de consumo dentro de meio século. Estude essa tendência e você verá toda a estória.

A deflação da dissuasão é a tendência profunda. Conecte a citação de Yudkowsky com os mercados de assassinato para chegar onde ela está indo. (Tente engavetar os escrúpulos morais até depois que você estiver vendo a figura.)

Imagine, hipoteticamente, que algum agente privado maníaco queira apenas lançar uma bomba atômica em Meca. Qual é a obstrução? Podemos confiantemente dizer – de uma vez só – que é um problema cada vez menor com cada ano que passa. A tendência histórica básica garante isso. Fanáticos islâmicos comparativamente incompetentes são as únicas pessoas testando com seriedade essa tendência nesse momento, mas isso não vai durar para sempre. Eventualmente, agentes mais inteligentes e mais estrategicamente flexíveis vão adquirir interesse na capacidade descentralizada de destruição em massa e eles fornecerão uma indicação bem melhor de onde está a fronteira.

Bombas nucleares fariam isso. Elas certamente vão ser democratizadas, no fim das contas. Existem provavelmente capacidades acelerantes de ADM muito mais notáveis, no entanto. Em quase todos os aspectos (capacidade de produção descentralizada, curva de desenvolvimento, economia, impacto…) armamentos biológicos deixam os nucleares na pó. Qualquer um com um bilhão de dólares, um rancor sério e um perfil de sociopatia de ponta poderia entrar em um jogo de ameaça de guerra biológica global dentro de um ano. Tudo poderia ser reunido em garagens secretas. As negociações poderiam ser conduzidas em segura anonimidade. Esculpir uma soberania a partir do jogo exigiria apenas recursos, crueldade, brilhantismo e nervos. Uma vez que você possa crivelmente ameaçar a matar 100.000.000 de pessoas, todos os tipos de oportunidade estratégicas estão abertos. O fato de que ninguém tentou isso ainda em grande parte se resume aos bilionários serem gordos e felizes. Só é necessário de um Doctor Gno para quebrar o padrão.

Essa é a sombra lançada sobre o século XXI. Jogos massivamente descentralizados de dissuasão incondicionalmente radicais são simplesmente inevitáveis. Qualquer um que pense que o estado do status quo detém algum tipo de supremacia de longo prazo sob essas circunstâncias não está vendo nada.

Um governo global totalitário poderia parar isso! Mas isso não vai acontecer – e já que ele não vai, isso irá.

Original.

Ameaça Abstrata

John Michael Greer medita sobre o tópico do Ebola (em um post tipicamente luxuriante, que se dirige, em última análise, a um outro lugar):

De acordo com a Organização Mundial da Saúde, o número de casos de Ebola na atual epidemia está dobrando a cada vinte dias e poderia atingir 1.4 milhões por volta do começo de 2015. Vamos arredondar para baixo e dizer que existam um milhão de casos em 1º de janeiro de 2015. Vamos assumir também, por bem do experimento, que o tempo de duplicação continue o mesmo. Assumindo que nada interrompa a propagação continuada do vírus e que os casos continuem a dobrar a cada vinte dias, em qual mês de qual ano o número total de casos será igual a população humana deste planeta? […] …os passos que poderiam impedir o Ebola de se espalhar para o resto do Terceiro Mundo não estão sendo tomados. A menos que recursos massivos sejam comprometidos com essa tarefa – como em antes do fim deste ano – existe a possibilidade de que, quando a pandemia finalmente relaxar daqui a alguns anos, dois ou três bilhões de pessoas possam estar mortas. Precisamos considerar a possibilidade de que o pico da população global não é mais uma abstração confortavelmente colocada em algum lugar no futuro. Ela poder estar batendo à porta do futuro agora mesmo, tremendo de febre e pingando sangue de suas gengivas.

A escala eventual do surto de Ebola é uma incognita conhecida. Um número de pessoas, entre alguns milhares e vários bilhões, morrerá e uma distribuição incerta de probabilidade poderia ser atribuída a estas cifras – sabemos, pelo menos aproximadamente, onde estão os pontos de interrogação. Antes do presente surto começar, em dezembro de 2013 (na Guiné), sabia-se, claro, que o Ebola existia, mas, nesse estágio, a ocorrência de um surto – e não meramente seu curso – era uma incógnita. Antes do vírus do Ebola ser cientificamente identificado (em 1976), o patógeno específico era um membro desconhecido de uma classe conhecida. Com cada passo atrás, avançamos em abstração, em direção ao reconhecimento de ameaças de um tipo ‘cisne negro‘. O X-risco do Grande Filtro é um modelo proeminente de tal ameaça abstrata.

O ceticismo, enquanto empreitada positiva ou construtiva, orienta a inteligência em direção a potenciais abstratos. Em vez de insistir que ocorrências inesperadas não precisam ser ameaças, é teoricamente preferível sutilizar a noção de ameaça, de modo que ela englobe mesmo resultados benéficos como potenciais abstratos. O desconhecido é, em si, ameaçador para animais tímidos, cujas condições de florescimento – ou mesmo de mera sobrevivência – são naturalmente tênues sob condições cósmicas em que a extinção é normal (talvez esmagadoramente normal) e para quem uma mudança imprevisível, que rompe procedimentos estabelecidos, apresenta – no mínimo – alguma probabilidade de dano assustadoramente indefinida.

Os humanos não são bons nessas coisas. Considere a discussão (extremamente interessante) de Scott Alexander sobre o Grande Filtro. A observações de abertura são perfeitamente direcionadas, movendo-se do perigo específico para a ameaça ‘geral’:

O Grande Filtro, lembre-se, é a adaptação de horror do Paradoxo de Fermi. Todos os nossos cálculos dizem que, na infinita vastidão do tempo e do espaço, alienígenas inteligentes deveriam ser muito comuns. Mas não vemos nenhum deles. […] Por que não? […] Bem, o Grande Filtro. Ninguém sabe especificamente o que é o Grande Filtro, mas, em geral, é “aquela coisa que impede os planetas de criarem civilizações espaciais”.

Conforme se desenvolve, contudo, o post deliberadamente recua da abstração, para dentro de uma enumeração de ameaças já vislumbradas. Após percorrer várias candidatas, conclui:

Três dessas quatro opções – x-risco, IA Não Amigável e exterminadores alienígenas – são muito muito ruins para a humanidade. Acho que se preocupar com essa ruindade tem sido muito do que tem criado interesse pelo Grande Filtro. Também acho que essas são algumas das explicações possíveis menos prováveis, o que significa que deveríamos ter menos medo do Grande Filtro do que geralmente se acredita.

O que SA realmente demonstrou, se seus argumentos até este ponto forem aceitos, é que a ameaça abstrata do Grande Filtro é significantemente maior do que já foi concebida. Nossos pesadelos lúcidos são mostrados estarem aquém dela. A ameaça não pode ser compreendida como uma incógnita conhecida.

Ao passo que o Grande Filtro destila a concepção da ameaça abstrata, o problema em si é mais amplo e mais cotidiano. É o fato altamente provável de que ainda temos que identificar os maiores perigos e que esse desconhecimento da ameaça é uma condição estrutural, em vez de uma deficiência contingente de atenção. Em termos Popperianos, a ameaça abstrata é a essência da história. É o futuro, entendido de maneira estrita. Para lustrar o argumento Popperiano: O entendimento filosófico da ciência (em geral) é imediatamente o entendimento de que qualquer história preditiva da ciência é uma impossibilidade. A menos que a ciência seja julgada como sendo um fator de insignificância histórica que se anula, as implicações desta tese transcendental são de longo alcance. Ainda assim, o domínio da ameaça abstrata se espalha ainda mais extensivamente do que isto.

“Eu só sei que nada sei” pensa-se que Sócrates pensava. A concepção de ameaça abstrata exige um leve ajuste: Sabemos apenas que não sabemos o que não sabemos. Incógnitas desconhecidas predominam cosmicamente.

Sua segurança está construída sobre areia. Esta é a única conclusão sã.

Original.