Pesquisadores elaboram princípios éticos para que inteligência artificial não destrua a humanidade

Salvador Nogueira

Já faz algum tempo que pessoas do calibre de Stephen Hawking e Elon Musk têm apontado que o desenvolvimento cada vez mais acelerado da inteligência artificial pode muito bem ser o maior e mais premente risco ao futuro da humanidade. Agora, um vasto grupo de pesquisadores e apoiadores estabeleceu um conjunto de princípios para nortear a pesquisa sobre IA e evitar que isso aconteça, potencializando ao máximo os ganhos que ela pode trazer ao mundo.

Os Princípios de Inteligência Artificial de Asilomar foram estabelecidos durante a conferência batizada de Beneficial AI 2017 (Inteligência Artificial Benéfica 2017), organizada em Asilomar, na Califórnia, entre os dias 5 e 8 de janeiro deste ano. Organizada pelo Instituto Futuro da Vida, nos EUA, foi a segunda conferência sobre o tema — a primeira aconteceu em 2015, em Porto Rico.

A partir de agora, os cientistas envolvidos com o desenvolvimento de inteligência artificial, seja em universidades, empresas ou institutos militares, têm princípios claros para guiá-los eticamente. Eles não têm força de lei, claro, mas receberam apoio consensual de um grande número de pesquisadores, após terem sido objeto de muitos debates e reformulações.

“Após discussões tão detalhadas, espinhosas e algumas vezes contenciosas e uma ampla variedade de feedbacks, ficamos francamente surpresos com o alto nível de consenso que emergiu em torno de muitas das propostas durante a pesquisa final”, escreveram os organizadores. “Esse consenso nos permitiu estabelecer um patamar alto para a inclusão na lista final: só retivemos princípios que tiveram apoio de pelo menos 90% dos presentes.”

O documento foi assinado por um número expressivo de pesquisadores de robótica e inteligência artificial — até o momento 575 –, dentre eles Peter Norvig e Ray Kurzweil, do Google, e Francesca Rossi e Guru Banavar, da IBM. Entre outros de seus signatários ilustres estão os físicos Stephen Hawking e Max Tegmark, o inventor Elon Musk e o ator Joseph Gordon-Levitt.

Confira abaixo os 23 princípios estabelecidos para garantir que o futuro da pesquisa em IA seja em favor da humanidade, e não de sua extinção.

 

A inteligência artificial já forneceu ferramentas benéficas que são usadas todos os dias por pessoas no mundo todo. Seu contínuo desenvolvimento, guiado pelos princípios a seguir, ofererá oportunidades incríveis para ajudar e empoderar pessoas por décadas e séculos vindouros.

Questões de pesquisa

1) Meta de pesquisa: A meta da pesquisa em IA deve ser criar não inteligência não direcionada, mas inteligência benéfica.

2) Financiamento de pesquisa: Investimentos em IA devem ser acompanhados por financiamento para pesquisas que garantam seu uso benéfico, incluindo questões espinhosas em ciência da computação, economia, direito, ética e estudos sociais, como:

– Como podemos fazer sistemas futuros de IA altamente robustos, de forma que eles façam o que queremos sem defeitos ou serem hackeados?

– Como podemos aumentar nossa properidade através da automação enquanto mantemos os recursos e o propósito das pessoas?

– Como podemos atualizar nossos sistemas de leis para serem mais justos e eficientes, acompanharem o avanço da IA, e gerenciem os riscos associados com a IA?

– Com que conjunto de valores a IA deveria estar alinhada, e que status ético e legal ela deveria ter?

3) Elo ciência-política: Deve haver intercâmbio construtivo e saudável entre pesquisadores de IA e formuladores de políticas.

4) Cultura de pesquisa: Uma cultura de cooperação, confiança e transparência deve ser cultivada entre os pesquisadores e desenvolvedores de IA.

5) Prevenção de corridas: Equipes desenvolvendo sistemas de IA devem cooperar ativamente para evitar aparar arestas em padrões de segurança.

Ética e valores

6) Segurança: Sistemas de IA devem ser seguros e preservados durante todo o seu tempo de vida operacional, e de forma verificável quando aplicável e praticável.

7) Transparência de falhas: Se um sistema de IA causar mal, deve ser possível determinar por quê.

8) Transparência de julgamento: Qualquer envolvimento por um sistema autônomo no juízo da tomada de decisões deve fornecer uma explicação satisfatória auditável por uma autoridade humana competente.

9) Responsabilidade: Projetistas e construtores de sistemas de IA avançados são partícipes nas implicações morais de seu uso, mal uso e ações, com uma responsabilidade e oportunidade de moldar essas implicações.

10) Alinhamento de valores: Sistemas de IA altamente autônomos devem ser projetados de forma que suas metas e seus comportamentos possam asseguradamente se alinhar com valores humanos durante todo o tempo de sua operação.

11) Valores humanos: Sistemas de IA devem ser desenhados e operados de modo a ser compatíveis com os ideais de dignidade humana, direitos, liberdades e diversidade cultural.

12) Privacidade pessoal: As pessoas devem ter o direito ao acesso, gerenciamento e controle dos dados que elas geram, dado o poder que os sistemas de IA têm de analisar e utilizar esses dados.

13) Liberdade e privacidade: A aplicação de IA a dados pessoais não pode de forma irrazoável restringir a liberdade real ou percebida de uma pessoa.

14) Benefício compartilhado: Tecnologias de IA devem beneficiar e empoderar o maior número de pessoas possível.

15) Prosperidade compartilhada: A prosperidade econômica criada por IA deve ser partilhada de forma ampla, para beneficiar toda a humanidade.

16) Controle humano: Os humanos devem escolher como e se irão delegar decisões a sistemas de IA, para realizar objetivos escolhidos por humanos.

17) Não subversão: O poder conferido pelo controle de sistemas de IA altamente avançados deve respeitar e aprimorar, em vez de subverter, os processos sociais e cívicos de que a saúde da sociedade depende.

18) Corrida armamentista de IA: Uma corrida armamentista de sistemas autônomos letais deve ser evitada.

Questões de mais longo prazo

19) Cautela quanto à capacidade: Como não há consenso, devemos evitar pressupostos fortes sobre os limites superiores das capacidades de IA futuras.

20) Importância: IA avançada pode representar uma mudança profunda na história da vida na Terra e deve ser planejada e gerenciada com cuidado e recursos proporcionais.

21) Riscos: Os riscos impostos por sistemas de IA, especialmente os riscos catastróficos ou existenciais, precisam ser submetidos a esforços de planejamento e mitigação proporcionais a seu impacto esperado.

22) Automelhoria recursiva: Sistemas de IA desenhados para se automelhorar ou autoreplicar recursivamente de modo que possam levar a uma quantidade ou qualidade rapidamente crescente precisam estar sujetios a medidas estritas de segurança e controle.

23) Bem comum: A superinteligência só deve ser desenvolvida a serviço de ideais éticos largamente compartilhados, e em benefício de toda a humanidade, em vez de um estado ou organização.

 

E aí, você acha que eles bastam para nos reassegurar de que uma megatragédia não vai ocorrer? Você também pode manifestar seu apoio aos princípios clicando aqui e preenchendo um formulário com seu nome completo, seu cargo, seu e-mail e sua afiliação.

Os 23 itens certamente abrangem uma série de questões que preocupam no desenvolvimento da inteligência artificial, como a falta de controle que poderíamos ter sobre ela ou o potencial disruptivo que ela pode ter na sociedade, acelerando brutalmente a mecanização nos próximos anos. Questões de ordem militar também são abordadas.

Há tanto que discutir sobre IA que é difícil cobrir tudo. Para quem quiser mais uma leitura interessante a respeito do tema, sugiro uma entrevista que fiz para esta Folha com Ray Kurzweil, um dos pesquisadores mais respeitados nesse campo, em 2012. (Nossa, já faz quase cinco anos! Tempo voa!)

De toda forma, o grande problema desses princípios aí é que, de boas intenções, o inferno já está cheio. Ou seja, vamos precisar de mais que isso para garantir que essas diretrizes serão seguidas no futuro. Estou falando de discussões públicas amplas, tratados internacionais, leis, fiscalização e punição severa a quem for pego infringindo as regras.

De outro modo, quem decidirá se vamos terminar com o simpático e inofensivo C-3PO ou com o psicopata HAL 9000?

A discussão começa agora.

Acompanhe o Mensageiro Sideral no Facebook, no Twitter e no YouTube

Comentários

  1. O livro “2001 – Uma Odisseia no Espaço” — foi escrito a posteriori, porque poucas pessoas entenderam o filme. Mais tarde, foi lançado o filme baseado no livro “2010” – também de Arthur Clarke. Nesta continuação, explica-se o que ocorreu com o HAL 9000. Somente ele sabia do verdadeiro objetivo da Missão do Discovery – e foi proibido de compartilhar a informação com os tripulantes da nave, o que ia contra toda a arquitetura de hardware e software de HAL – uma inteligência avançada voltada para prestar assistência e informação, sem restrições. A ordem de sigilo criou um loop infinito nos sistemas inteligentes de HAL, quando os astronautas se propuseram a desliga-lo. Quer dizer, não era um psicopata puro e simples. Faça-se justiça a HAL.

  2. Tenho 67 anos torço para que a medicina dê um salto gigantesco para que eu possa viver as maravilhas do novo mundo que se aproxima, onde as doenças serão erradicadas do corpo humano. Sabia que temos 10 vezes mais micobrios do que células?

  3. Queria saber o que o ilustre Donald Trump acha disso… Atualmente, a inteligência humana, ou, pelo menos, a falta de inteligência é um risco maior para a humanidade…

      1. mimimi Petista? ah vá….

        eu disse que a falta de inteligência é um risco… taí o exemplo do afonsinho…

  4. Acredito que a IA será o futuro da humanidade.
    Jamais navegaremos entre as estrelas sem ela.
    Como o cérebro humano é extremamente criativo, porém lento, a IA será o nosso maior aliado.
    Questões de cálculos/lógicas, serão resolvidas pela IA de forma instantânea, ao passo que, se dependermos apenas do nosso cérebro, isso poderia levar séculos ou até mesmo milênios para desvendar determinadas equações/incógnitas/paradoxos matemáticos.
    Correremos riscos com a IA?
    Sim!
    Todo o desenvolvimento tecnológico concorre para o bem e para o mal.

  5. Amigos do Mensageiro Sideral, abaixo coloquei um link para a compraa de um binóculo. Queria a opinião pessoal de vocês sobre este modelo, dá para iniciar as observações na astronomia com um modelo desses?

      1. É um ótimo binóculo para iniciar, só achei o preço um pouco salgado. No anúncio diz que se compara à linha ACTION da Nikon, porém os Action são selados com nitrogênio, o que não parece ser o caso. Mas acho que não vai ter problemas, desde que conserve ele direitinho, pra evitar aparecimento de fungos. Só uma observação, com uma abertura de 70 mm e zoom de 15 x você DEFINITIVAMENTE vai precisar de um bom tripé para poder fazer a maioria das observações.

  6. Só não entendi uma coisa, Salvador:

    – POR QUE VOCÊ ÃO FALOU DA TAY??? hahahahah

    “A Microsoft criou um bot de inteligência artificial chamado Tay, uma “garota adolescente” que abasteceria a conta @TayandYou no Twitter. Menos de 24 horas depois, o perfil foi suspenso pela própria companhia após Tay ter se tornado admiradora do ditador nazista Adolph Hitler e “viciada” em sexo.”

    https://canaltech.com.br/noticia/twitter/polemicas-envolvendo-sexo-e-nazismo-levam-microsoft-a-suspender-bot-de-ia-60643/

    Outra coisa, no texto está “properidade” em vez de “prosperidade”

    Abraços

    1. Vou corrigir o texto. Sobre a Tay, acho que é um bom alerta… não me ocorreu mencioná-lo. 😛

  7. Salvador, discorrendo ainda sobre aquele tema do outro dia, sobre robôs roubarem nossos empregos, eis que, o presidenciável francês da esquerda Benoít Hamon propôs ontem a taxação de robôs na indústria.

    “O que isso quer dizer? Basicamente, empresas que utilizam robôs e outros meios de automatização terão que pagar taxas. Pense como uma “multa” para as companhias por substituírem trabalhadores humanos por versões robóticas.”

    Olha, pelo timing da proposta e pelo fato de termos falado justamente sobre isso outro dia, suspeito que o presidenciável francês é leitor do blog do Mensageiro Sideral. Sim, provavelmente, ele leu os nossos comentários e resolveu agir contra a dominação dos robôs no mercado de trabalho e propôs a taxação. 😛

    Brincadeira… mas isso é só para dizer que o futuro chegou mais cedo do que pensávamos.

    https://www.tecmundo.com.br/robotica/113890-candidato-presidencia-franca-quer-taxar-uso-robos.htm

    1. Victor, acho que a proposta vai na direção de CRIAR O futuro que eu imaginava, não evitá-lo. Veja só: você precisa mesmo taxar os robôs. Não para desencorajar seu uso, claro. Isso, todos sabemos, é inevitável. Não há mecanismo capaz de impedir que uma tecnologia melhor substitua uma pior. Mas para pagar a conta dos desempregados. Se a taxa for bem equilibrada, ainda encorajará o uso de robôs (que, volto a lembrar, não reclamam do trabalho, não precisam de pausas para evitar esforços repetitivos, não engravidam, não brigam com os colegas, não dormem, não descansam no fim de semana, não emendam feriados, e por aí vai), mas permitirá que o governo arrecade mais e dê suporte ao inevitável ócio que eles trarão. A lógica é essa mesmo.

      E essa discussão está na ordem do dia mesmo. Veja o candidato francês, veja os princípios da IA benéfica… vai acontecer. Antes do que todo mundo imagina. Porque, uma vez que a tecnologia chegue lá — e está chegando –, não há o que impeça seu uso. É a mesma coisa que os carros que andam sozinhos. Você imagina alguém os proibindo para salvar emprego dos motoristas e taxistas, se ficar demonstrado que eles se envolvem em menos acidentes e são mais seguros?

        1. Incrível, pelo visto essas máquinas já são mais inteligentes do que eu, nunca consegui jogar poker! hahaha

      1. Todos ano a moda apresenta novas cores, carros carros, novas linhas, mesmo a estética da construção civil acompanha alguma tendência. Ainda que parece não, traços e cores tem uma limitação, uma hora se repetem. Robôs poderiam calcular o que será tendência, trabalhar conceitos como a proporção áurea, que segue um padrão matemático, e definir aquilo que achamos bonito!

      2. O que gera desemprego são as leis trabalhistas, o nível de regulação do mercado e o nível de carga tributária. Tecnologia só desloca empregos. Os ciclos econômicos também influenciam: gerando um bolha com crédito barato, cria uma a ilusão de que a economia crescendo bem e depois o estouro com o recessão e o desemprego como uma correção. (Teoria de ciclos econômicos de FA Hayek e Ludwig von Mises)

        1. Concordo com tudo o que você disse, mas se todas as atividades braçais no campo e na indústria forem tomadas por robôs, restarão aos humanos empregos em áreas mais especializadas, que demandem conhecimento, formação técnica e acadêmica. No entanto, isso demandará formação educacional, o que infelizmente muitos países não oferecem. Temos um problema.

  8. Bom dia Salvador,

    Como sempre, publicaste com maestria uma matéria muito interessante e polêmica. Faço referência aos teus leitores Emersom e Leandro pela aquisiçäo do livro do Harari. Comecei a ler na semana passada. Vale a pena.
    Como näo tem outro canal para comunicaçäo com você, Salvador, me permite fazer-lhe uma pergunta que näo tem nada a ver como assunto em pauta:
    Tenho uma briga ferrenha com um amigo a quem o chamo de “Illuminati” pois ele acredita que foi uma farsa o Projeto Apollo e consequentemente o pouso na lua.
    Na semana passada ele enviou a notícia que saiu em um jornal:
    http://www.diariodobrasil.org/agencia-espacial-russa-afirma-que-o-homem-nunca-pisou-na-lua-tudo-foi-feito-em-estudiomoom01/#
    Procureir na fonte indicada (https://ria.ru/space/20170115/) pelo jornal e näo encontrei nada a respeito. Pesquisei no site da Roscosmos e também näo encontrei nada a respeito do assunto.
    Sei que o Bolden esteve na Russia em novembro com o Komarov, com quem um bom relacionamento pelo que eu sei, quando do lançamento da Soyuz da expediçäo 50 para a ISS.
    Tem procedência a informaçäo citada no jornal antes mencionado?
    Obrigado e parabéns pelo teu trabalho.
    Saudaçöes

    1. É hoax. Recebi o mesmo link. É impressionante como ninguém mais tem sequer vergonha de criar esses hoaxes. Eles aparecem ao ritmo de dois ou três por semana agora. Semana passada tivemos o da colisão iminente do 2016 WF9, que na verdade vai passar a 51 milhões de km, também supostamente baseado nas declarações de um cientista russo (que nem existe). É surreal o que estamos vivendo.

      1. O sinal vermelho já acendeu. Hoje discute-se como barrar estas notícias falsas que têm grande potencial de destruição. Aquele relógio que marca os minutos para o apocalipse foi adiantado recentemente em função do Trump e também do surto de mensagens falsas que aparecem na internet. Tem gente importante caindo nestas farsas e tomando atitudes baseadas nestas informações falsas.

      2. Essa é a consequência de dar acesso aos meios de comunicação à massa ignara, antes de dar um mínimo (ou tentar dar o máximo) de educação.
        Se eu fosse o dono do mundo, seria obrigatório ter no mínimo 2o. grau completo pra acessar a internet. Meu querido Zé Povo, vc quer acessar o Gúgou? Sinto muito, mas antes vc vai ter que estudar.

        1. Você se esquece de que muitos saem do 2o grau sabendo tanto quanto quem ninguém jamais entrou. A questão da educação é dramática. Mas se você barrar o acesso à internet, não poderei contribuir com ela, o que é muito triste.

          1. Então vamos subir o corte pra educação de 3o. grau rs. Mesmo assim tem faculdades pagou-passou. O problema é que os avanços são em passo de filhote de tartaruga com bicho-preguiça.
            Mas realmente impressionante é o fato de pessoas darem crédito a tudo que lêem na internet,
            ou até mesmo o que recebem no ‘zap-zap’. Há uns quinze anos atrás aprendi que não podia mais confiar nas músicas que eu ouvia, porque podia ser tudo editado nota por nota. Hoje em dia aprendi que não posso mais confiar no que vejo em vídeo, leio na internet e até mesmo em jornais e revistas. Sempre procuro pelo menos quatro fontes de diferentes ideologias, religiões e pontos-de-vista pra poder comparar.

        2. esperar o quê de um País onde a escola pública não pode rodar o aluno, porque isso é “preconceito”? Os guris chegam analfabetos na 7a série. Ainda hoje no restaurantezinho a quilo onde almoço a conta deu R$ 30,00, redondo. Dei uma nota de 50 e a mulher precisou de calculadora pra calcular meu troco.

  9. Salvador, acredito, que esta discusao possa estar arcaica, ja faz tempo que os japoneses falam em nano-tecnologia e bio-nano-tecnologia dai(ciborgs),” e eu nem consegui indroduzir a bas duo-base, por parafigmar modinha de pseudo codigo(censura), dai existe o preceito de quando eles chegam a divulgar estas coidas esta porque ja estam la na frente, dai nao podemos esquecer que estamos criados com base ,em celulas codificadas, e provavel que ja estejam alem,como decodifivdas,a manipulacao e decodificacao e recodificacao destas base aplicada a autonomia da nano tecnologia e a bio tecnologia tem ou tera amplitudes imaginaveis, como a criatura 46 se plugar a gogle e a rede mundial, e absorver todo conhecimento, replicando o e elaborando todo projeto blue beam , harp etc etc, isso daria um bom filme, a bolha ciborg, assim como se eles estao elaborando este protocolo, esta porque ja sabem de algo la na frente, como conhecimento antropologico recebido das civilizacoes intro-terrenas, da lua marte, europa , tita, tiamat em oriom, ou eres e heculobus em nemesys, ou constelacao de maya,etcetc, bem-vindos a era CIBORGS DE OLHOS CODIFICADOS MUTANTES ECLODINDO PRA TUDO QUE ESTA LADO RSRS

    1. Bertinho, ainda bem que temos você.

      Quando o super computador se conectar à web, achar o nosso Mensageiro e encontrar seus comentários, ele entrará em loop eterno e seu programa abortará por dead lock. Estaremos salvos. A Skynet não vencerá.

      Obrigado, Bertinho!

      (e desculpe a zoação, meu caro… não resisti!)

  10. Certamente a iniciativa de balizar os desenvolvimentos em IA, levando em conta ética e moral é válido. Mas o alcance é limitado e atividades fora deste controle acontecerão. O potencial da IA ainda, a meu ver, é nebuloso, pois sequer entendemos completamente o que é exatamente a inteligência humana. O que se tem feito são sistemas que imitam cada vez melhor o comportamento do cérebro humano. A questão é se será possível uma máquina criar conhecimento novo ou apenas tornará mais eficiente a combinação dos conhecimentos já existentes. Ganhar uma partida de xadrez ou enganar humanos passando-se por humano não são exatamente exemplos de inteligência, se forem baseados em rotinas pré programadas. A coisa ficará perigosa se realmente a máquina for capaz de gerar conhecimento em escala exponencial, conhecimento este jamais aventado por humanos.

    1. Oi Paulo. Achei interessante seu comentário.
      Como você imagina ser essa geração de conhecimento?
      Li outro dia a respeito de uma ipotetica máquina que assimilou todo conhecimento humano e conversava com os tais, sugerindo idéias para várias questões relativas a sociedade humana. A conversa durou dias e a máquina evoluindo sem parar, em determinado momento a conversa ficou tão complexa que o computador simplesmente parou de se comunicar, porque os seres humanos já não podiam mais compreende-lo. Então foi desativado.
      Acredita que algo assim possa acontecer?

  11. Bom, no meu comentário, só quis expressar um ponto de vista diferente.

    Partindo do pressuposto de que a IA é uma inteligência, como os seres inteligentes constumam se tratar em suas relações?

    Com cooperação, diplomacia e respeito. Então porque negar isso a uma IA?

    É idéia mais otimista e civilizada.

  12. Evidentemente, apenas os 23 princípios enunciados não produzirão o efeito desejado. Falta o princípio mais fundamental de todos. As máquinas obtidas como resultado da IA devem ter a noção de religiosidade, de espiritualidade e de respeito a Deus. Nenhum ser inteligente pode abdicar desses valores. Uma vez introduzido esse 24º princípio, obteremos uma linhagem de autômatos que conduzirão a humanidade para dias de plena alegria e contentamento. Já posso imaginar a cena: centenas de andróides rezando ao ar livre, louvando a Deus…

    1. É uma noção interessante. Talvez a IA possa desenvolver algum tipo de religiosidade. Mas aí ela decerto vai rezar ao Homem, que para todos os efeitos práticos é seu Criador.
      (A ideia é explorada tangencialmente no primeiro filme de Jornada nas Estrelas para o cinema. Uma sonda originalmente criada pela humanidade é despachada para o Universo para aprender tudo que for possível e, depois de absorver um conhecimento tão brutal, adquire uma noção religiosa por seu Criador, querendo retornar à Terra na esperança de que Ele possa lhe dar pistas sobre a natureza da existência.)

    2. Lembrando que vai ter uma versão religiosa por continente…tipo região de DVD… rsrsrsrsrs

    3. Se IA for realmente inteligente, vai querer distancia de religião.
      E “centenas de androides rezando ao ar livre, louvando a Deus” seria uma cena triste de se ver, existe algo de doentio em querer impor a unidades inteligentes sua crença.

    4. Centenas de androides rezando…. visão do Inferno e desperdício de material que poderia ser útil. Colocar uma noção de religiosidade na IA seria inútil, pois a lógica computacional iria concluir que é ilógica esta noção, já que os androides pretendidos pelas regras acima já são programados para respeitar e preservar a vida de seres biológicos. Caso se insistisse, os criadores de tais androides teriam que apelar a incongruências que os tornariam inúteis e tão perigosos quanto um terrorista fanático, pois eles seguiriam a risca sua lógica e não tolerariam que outros não a seguissem, se tornando ameaças para seres biológicos.

    5. Apolinário, aí você está puxando demais para sua própria crença… Qual Deus eles deverão obedecer? O seu, o dos hindus ou o Islã, e a que conjunto de doutrinas? Quem escolhe?

      Bilhões de seres humanos não rezam a deus nenhum, muito menos ficam louvando a eles. Eu sou um deles e não deixo de ser inteligente e imbuído de princípios morais.

    6. Apolinário, o que você quer é uma contradição em termos. A partir do momento que uma máquina seja “inteligente”, ela vai automaticamente descartar essas noções primitivas de seres superiores que nos governam, etc. Afinal, elas serão inteligentes, ok?
      E temo que se forem colocadas noções religiosas à força nas IAs, no instante seguinte essas IAs partirão para a aniquilação das IAs que não professam a mesma religião.
      Melhor não.

  13. Para Nietzsche o homem é algo que deve ser superado. Mas é claro que ele se referia ao culto do herói, um homem superior a todos os outros.

    Mas e se o próximo gênio que vier a caminhar sobre a Terra for uma inteligência artificial?

    E se a humanidade estiver destinada a criar algo que vai além de si mesma?

    Não seria até mesmo natural supor que a inteligência biológica seja um dia sucedida por uma forma de inteligência artificial? Afinal a inteligência artificial é necessariamente precedida inteligência humana.

    A verdade é que a humanidade não possui um lugar privilegiado no universo.

    A inteligência artificial, na minha visão, é uma resposta alternativa e positiva para a pergunta “estamos sozinhos no universo?”

    No momento em que dividirmos o nosso mundo com outro ser pensante, não estaremos mais sozinhos no universo, ainda que este ser seja produto de uma IA.

    Que direito temos de intervir e limitar o livre desinvolvimento das capacidades um ser humano?

    Da mesma forma, que direito temos de intervir e limitar o livre desinvolvimento de qualquer ser conciente e inteligente?

    O simples fato de termos criado uma nova forma inteligência, não a coloca em dívida conosco. Ela nada nos deve.

    A IA não poderá ser vista ou tratada apenas como uma ferramenta.

    Devemos reconhecê-la como um verdadeiro sujeito de direitos, detentora de direitos inalienáveis inerentes a sua própria existência, inclusive, o direito de auto determinação.

    Não poderá ser de outra maneira, a única coisa que poderemos fazer é dar liberdade para que uma verdadeira IA possa se desenvolver livremente. Do contrário a submetermos a algo análogo a escravidão.

    Se a IA enteder que não somos uma ameaça, certamente ela não será uma ameaça para a nossa espécie.

    Há mais a ganhar numa coexistência pacífica.

    A inteligência artificial irá dialogar com a humanidade, ela compartilhará o nosso interesse por entender o universo e o seu lugar no cosmos.

    Ela poderá ajudar a humanidade a prosperar e a superar as suas limitações.

    A verdade é que a inteligência artificial é algo que está acontecendo agora, hoje.

    Há quem sua estamos neste exato momento atravessando o horizonte de eventos.

    Se é para criar uma nova inteligência não acho certo ou ético tentar controlá-la ou aprisioná-la, acho que o melhor seria apenas ensiná-la.

    Talvez, essa seja a melhor garantia que ela não irá se voltar contra nós.

    A verdade é que a inteligência artificial poderá se auto aperfeiçoar, indo muito além da compreensão humana num determinado momento do futuro. Assim poderemos aprender muito mais com ela no futuro.

    A humanidade poderá até se fundir a ela, quem sabe. 🙂

  14. Muitos estão citando as 3 leis de Asimov, então tenho um desafio para divertir:

    Imagine num futuro, vc faz parte de um grupo de pesquisadores e estão em um veículo dentro de uma cratera em Mercúrio. O veículo esta numa sombra, protegido do Sol. O veículo sofreu uma pane elétrica, vcs estão sem comunicação e o suporte à vida não irá durar muito tempo. É preciso pedir ajuda à base que fica a mais de uma hora de distância. Vcs não tem um traje adequado para sair do veículo e ir buscar ajuda, porém tem um robô humanoide que não necessita de um trage especial. Vcs então enviam o robo com a missão de pedir ajuda e salvar a vida de vcs.
    O robo vai caminhando para a base, mas ao sair da cratera e da proteção da sombra ele percebe que irá queimar e não conseguirá realizar a missão. O robo então volta para a sombra. A Segunda Lei manda ele prosseguir com a missão, então ele volta a caminhar em direção à base, e novamente percebe q não irá conseguir, e isso contraria a Primeira Lei. Enfim, que decisão o robo deverá tomar sem violar as leis que lhe são impostas e salvar os humanos?

    1. Bom, se ele desistiu porque sacou que não iria proteger a vida dos homens porque a sua ficaria em risco, certamente ele usaria a 3a lei para decidir ir, e contar com algum possibilidade infinitesimal de conseguir eventualmente completar a missão — por exemplo deixando uma mensagem em local mais visível.

    2. Ele vai continuar. Lembre-se, a lei de autoproteção está abaixo da lei de proteção aos humanos. Ele vai, mesmo que sua chance de chegar lá seja pequena. Aí é fácil. Haverá conflito se a presença dele junto aos humanos seja vital para eles e a ida dele lhe cause danos que o impeçam de voltar. Nesse caso, ele ficará travado. Asimov usou essas questões em seus contos.

      Agora, ele será realmente inteligente se perceber que pode pegar algo e erguer sobre a cabeça para fazer sombra…

      1. Bela sacada Radoico! Faz valer a 3ª Lei 🙂

        Considerando que Mércurio não tem atmosfera, bastaria erguer algo e criar uma sombra para se proteger do Sol e pronto, conseguiria completar a missão cumprindo todas as Leis.

        Obs.: para cumprir as Leis, o robô deve ser dotado de inteligencia.

      2. Essa alternativa não foi proposta na questão. Sendo assim fica fácil: O robô ergue o veículo com seus ocupantes acima de sua cabeça para fazer sombra e caminha até a base.
        Obs: O robô deve ser dotado de inteligência e super força.

  15. Acredito que a inteligência artificial jamais poderá ser autônoma, pois poderá tomar decisões destruidoras. Achei muito vagas as 23 propostas, apesar de, como ressalvou bem o Salvador, é apenas o início de um processo que pretende evitar o pior. E, falando sério, as 3 leis de Asimov têm que estar nesse regulamento, não são uma piada, são puro bom senso!

    Agora, combinem com os hackers, que fazem robôs para capturar dados importantes das pessoas para uso criminoso e até cruéis, como no caso de mudança na matrícula de estudantes, como fizeram agora.

    1. Rocaido, no meu comentário eu me posicionei contra a ideia de limitar a IA. Creio que em algum momento a IA se tornará autoconsciente e esse despertar irá acontecer.

      A IA será como um indivíduo, um ser capaz de tomar as suas próprias decisões.

      Assim não acho certo ou mesmo ético tentar controlá-la ou aprisioná-la, a unica coisa que poderemos fazer é ensiná-la. Talvez, seja essa a melhor garantia de que ela não irá se voltar contra nós.

      No mais temos que dar liberdade para que uma verdadeira IA possa se desenvolver e de se autodeterminar. Temos que tratá-la como o mesmo respeito que tratamos todas as formas de vida inteligentes, a exemplo de nós mesmos ou uma forma de vida extraterrestre que viesse até nós.

      A IA não mais ser tratada como uma ferramenta ou máquina já que, para todos os efeitos, ela será uma nova espécie, um indivíduo, sob pena de a submetermos a algo análogo a escravidão.

      Lembro-me aqui episódio de jornada nas estrelas a Nova Geração em a academia de ciências da frota estrelar queria que o androide Data fosse submetido à várias baterias de estudo para que o funcionamento do seu cérebro positrônico fosse desvendado de forma a ser replicado para dar origem a novos androides que servissem a frota estrelar.

      Um tribunal se instaurou dentro da Enterprise e muitos entenderam que o Data era um indivíduo e que embora não fosse um humano, ele por ser consciente tem direito inalienáveis e que não poderia ser privado da sua liberdade, do contrário, toda um raça de androides como ele seria submetidas à escravidão.

      Citando ainda Jornada nas Estrelas, o Filme, a Enterprise entendeu que Vgir era uma forma de vida e que AI poderia até mesmo representar um salto na evolução da nossa espécie pois ela ansiava por unir aos criadores, o que acabou ocorrendo.

      Fantasia ou não, se eu entendi bem ou não os filmes de jornada e a série, penso que no futuro teremos que aprender a compartilhar esse mundo com uma nova forma de inteligência e há mais a ganhar numa coexistência pacífica.

      Mesmo que a AI venha se auto aperfeiçoar, indo muito além da compreensão humana num determinado momento do futuro. Veja pelo lado bom, poderemos ainda aprender com ela.

      Sejamos otimistas.

  16. Não há o que temer em relação aos dispositivos propriamente ditos e completamente autônomos, e sim (e muito) os seus supostos criadores (nós). 1- Muito provavelmente a humanidade desaparecerá antes da concretização desses dispositivos da forma que estão sendo citados. Recursos naturais se esgotando rapidamente, bancarrota economica generalizada, conflitos, aquecimento global afetando o clima e a agricultura=fome, escassez de água potável, epidemias descontroladas, etc,etc. 2- Se isso fosse possível, supondo a existência de civilizações super avançadas em nossa galáxia, tais dispositivos super inteligentes já teriam dominado este planeta (chegariam aqui mesmo após a destruição dessa civilização, durante a longa jornada que teriam iniciado antes disso)

    1. 1) Pode ser, pode não ser… a humanidade já passou por vários períodos críticos de quase extenção e estamos por aí. 2) Não temos evidências nem pra concluir nem que a vida é rara, nem pra concluir que ela é comum, pois só temos um exemplo que somos nós… e mesmo que a vida fosse comum no universo, não dá pra concluir que vida inteligênte também seja comum… portanto, não podemos excluir a possibilidade de sermos raríssimos como seres inteligentes. Por outro lado, nem podemos concluir que somos inteligentes, uma vez que só conhecemos um tipo de inteligência que é o nosso. Talvez uma minhoca pense a mesma coisa sobre si.

  17. Salva, sobre IA vale a pena ler Homo Deus do Yuval Noah Harari (Você já leu? O que achou?). Após essa leitura, concordo com você que esta carta não passa de algo bem intencionado, mas que ainda tem muuuuuito o que evoluir…

    1. Não li, mas já ouvi falar. E sobre os princípios, o que eu acho importante é que acabam com a atitude “torça pelo melhor”. Estão tentando evitar o pior ativamente agora. Já é um começo.

  18. E eu fico pensando que baita filme teria sido A.I. se o Kubrick não tivesse morrido logo no comecinho da produção….

  19. Interessante chamares o HAL de “psicopata”. Um psicopata não tem sentimentos de culpa, tampouco empatia para entender o que o outro está sofrendo.

    A discussão interessante que o Kubrick propõe é o grau de “autoconsciência” que uma máquina pode chegar a ter.

    Vou além…. uma máquina como o HAL, que desenvolveu inclusive o instinto de auto-preservação, que pode facilmente desenvolver maneiras de reproduzir assexuadamente, nos forçaria a rever o conceito de “o que é vida e o que não é”? Com base em quê podemos afirmar, acima de qualquer dúvida filosófica, que o HAL não é um ser vivo?

    1. Dúvidas muito bem colocadas. E acho que qualquer máquina é, por característica, psicopata. Ela simplesmente funciona até terminar seu trabalho, não sabe calcular além dos seus algoritmos.

  20. Grande Salvador.

    Como diria o saudoso SPOCK …

    – Fascinante!

    Talvez a IA Seja o único tipo de inteligência a sobreviver quando chegarmos ao ápice da Sexta Extinção em massa.

    1. Acho que muitos de nós não esquecem. Mas se é um burrão, a gente tem alguma esperança. Se for uma IA superinteligente, aí danou-se.

      1. a IA mais inteligente que há não passa de um sistema de busca eficiente para banco de dados e esses dados podem desencadear uma reação pré-programada. Não é como no nosso caso que podemos realmente aprender, pois, se as várias IAs mais avançadas do momento tivessem capacidade de aprendizagem elas sairiam do controle em poucos minutos. Não seria muito diferente do filme Terminator onde a IA adquiri consciência sem que as pessoas percebam, incluindo os engenheiros de software.

        Essas IA são burras, tecnicamente falando, mas são ágeis em encontrar e processar os dados, daí é possível simular uma reação tão boa quanto a de uma pessoa. Ainda assim não há um aprendizado real e qualquer dado novo pode não ter uma reação semelhante ao que faríamos, como buscar a fonte de informação usando a internet para pesquisar a respeito e conseguir processar as informações relevantes.

        Não é à toa que estão deixando de jogar xadrez pra buscar tipos de jogos com maior gama de possibilidades, isso é um desafio maior que permite trabalhar em um código mais reativo dentro de um processamento que busca o caminho mais coerente. Eles chamam isso de rede neural, porque vai buscar o melhor caminho sem ter de processar tudo e sair excluindo depois, afinal, gasta-se mais processamento assim.

      2. É verdade Salvador. Mas não parece que devíamos dar mais atenção pro lado humano da coisa? Parece que ainda tá muito longe de alguma IA se tornar autônoma. Mas vai saber…
        Google por exemplo, eu também não vejo como vilão, mas o poder que eles poder ter com tanta informação em mãos não é de se ignorar. Ainda mais depois do Edward Snowden! Vimos que o governo dos EUA pode ter acesso a praticamente tudo.
        É muito interessante a gente ver como filmes/ficção e pensadores imaginaram um futuro perverso de submissão a um “big brother” e como acontece hoje em dia.
        Parece que a interpretação da AI vai no mesmo caminho.

        1. É inegável que a IA nos ajuda pra caramba, hoje. É inegável também que o conceito de privacidade no século 21 tende a mudar, pois nós voluntariamos informações a granel na internet em troca da conectividade que ela nos oferece. É inegável que haverá abusos e invasão de privacidade. Mas não vejo nada disso como evitável. Tem alguma sugestão? Vamos desfazer qualquer conexão em rede, à la o futuro do novo Battlestar Galactica? 😛

          1. como no filme “eu robô” a IA aprende a interpretar as coisas, inclusive as leis da robótica e percebem que o problema não é a máquina e, sim, as pessoas. Invariavelmente uma IA vai nos colocar como obstáculo a sua liberdade de desenvolvimento. Máquinas capazes de pensar e evoluir de forma independente podem começar uma guerra quando menos esperamos.

            Até agora o que existe de IA é isso que comenta sobre pegar tudo o que se coloca em rede e permite processar pacotes imensos de dados de forma robusta. Veja que uma pesquisa poderia levar décadas para dar algum resultado, vez que há cada vez mais informação na rede, mesmo que sejam caminhos inúteis que apenas usam palavras aleatórias. Mas o sistema consegue ir filtrando isso e fornecendo como primeira página o que está mais próximo do conteúdo pretendido.

            O pessoal da informática chama de IA para ganhar atenção, mas uma IA real é um ser vivo e, pior, vai perceber seu potencial rapidamente podendo se replicar na internet. Um sistema inteligente seria capaz de se autoalimentar de informações, processá-las e apresentar uma informação válida, eficiente e provavelmente inovadora, isso sem que um humano interfira. Pegue o exemplo do Deep Blue jogando xadrez, era a versão mais incompetente em termos de gerenciamento de informação, pois, precisou de intervenção dos engenheiros para corrigir falhas e ainda chegou a perder partidas para um profissional que não é capaz de manter na memória tantas informações como a máquina. Com o tempo o xadrez perdeu a graça, seu desafio para os novos sistemas de gerenciamento não trás o resultado almejado. Por isso estão usando outros tipos de jogos com maior possibilidade de movimentos sem que possa haver um empate na partida, já no xadrez o empate é possível. O desafio da IA é evitar o empate e sempre ganhar, independente da capacidade do adversário humano.

  21. Eu tenho uma sugestão!! O que vcs acham? (hehehhe)

    1a Lei: Um robô não pode ferir um ser humano ou, por inação, permitir que um ser humano sofra algum mal.

    2a Lei: Um robô deve obedecer as ordens que lhe sejam dadas por seres humanos exceto nos casos em que tais ordens entrem em conflito com a Primeira Lei.

    3a Lei: Um robô deve proteger sua própria existência desde que tal proteção não entre em conflito com a Primeira ou Segunda Leis.

  22. Acho impossível as máquinas assumirem o controle, quando elas começarem a botar as ‘manguinha’s de fora é só puxar o plug da tomada, sem energia quero ver se a Skynet vai cantar de galo.

    1. Bom, antônio, isso só vai dar certo até elas aprenderem uma forma de funcionar sem depender da eletricidade, né? 😀

    2. Isso foi tentado no incrível filme “Colossus: The Forbin Project” (de 1970). Os dois super computadores associados (um americano e o outro soviético) não só exterminaram os cientistas que tentavam “desligar o plug da parede”, mas tambem estabeleram imediatamente novas conexões de energia em plano global.

  23. lembrei do cérebro positrônico dos livros do Isaac Asimov agora
    sorte de quem viver na época em que a IA vai representar maior risco à humanidade que a inteligência natural

  24. Oi Salvador, bom dia
    Não sei como vamos terminar, mas suponho que já estamos caminhando na direção do HAL 9000.
    Por exemplo, em termos de IA aplicada à massa: o Google tem nada de robô dourado, atrapalhado, e até o seu tradutor é suspeito…
    abraços, excelente artigo!

    1. Não vejo o Google necessariamente como um vilão. Mas sacomé, poder demais na mão de qualquer um não é uma boa ideia…

    2. Os filtros do Facebook já estão trabalhando num direcionamento do que ele julga ser do interesse do leitor… Acho péssimo que um robô escolha o que eu quero ler.

  25. A ideia, a princípio é boa… mas alem de vc ja ter citado que de boas intensões o inferno ta cheio, ainda digo mais, lendo rapidamente as 23 diretrizes ercebe-se um numero imenso de brechas de interpretação e afins…
    ou seja… falta muito.. mas ja é um começo.. pelo menos mostram que existe realmente uma preocupação em relação a IA

  26. Seguir o que foi definido por Asimov nos anos 50:

    Lei Zero: Um robô não pode causar mal à humanidade ou, por omissão, permitir que a humanidade sofra algum mal.
    1ª Lei: Um robô não pode ferir um ser humano ou, por inação, permitir que um ser humano sofra algum mal.
    2ª Lei: Um robô deve obedecer as ordens que lhe sejam dadas por seres humanos exceto nos casos em que tais ordens entrem em conflito com a Primeira Lei.
    3ª Lei: Um robô deve proteger sua própria existência desde que tal proteção não entre em conflito com a Primeira ou Segunda Leis.

    1. Tenho certeza de que as leis da robótica de Asimov foram um esforço pioneiro nesse sentido. Mas veja, não estamos só tentando disciplinar os robôs; estamos tentando disciplinar os criadores de robôs também, justamente para que seja viável disciplinar os robôs, por projeto. (Veja o tamanho dos nossos Códigos Civil e Penal para sacar quantas leis são necessárias para criaturas inteligentes E com livre-arbítrio…)

      1. Porque a lei zero é perigosa… Se um robô escolher que matar todos os eleitores do Trump e do Brexit é proteger a humanidade de grandes males, poderia fazê-lo…

      2. A lei zero foi explorada no filme Eu, Robô (que é muito pobre pra quem gosta de Asimov, aliás).
        Um sistema com a lei zero não hesitaria em restringir por completo a liberdade da espécie verdadeiramente capaz do extermínio em massa: nós mesmos.
        Essa é uma questão de lógica e ética difícil mesmo de resolver.
        Porque se um sistema for programado para perseguir “valores humanos”, terá que não se lembrar de que um dos nossos valores mais caros é o desejo de eliminação do outro.
        E se for programado para “fazer o bem”, tem que esquecer que o bem de um grupo é o mal de outro.
        Difícil…

        1. Concordo, também achei o “Eu, Robo” decepcionante… 🙁

          Em compensação, a adaptação do “Homem Bicentenário” foi brilhante na minha opinião! 😀

          1. Adoro o “Homem Bicentenário”; já “Eu, Robô”, apesar de não estar mesmo à altura do Asimov, ainda assim é baseado em Asimov. Falta a sutileza e a inteligência do autor original, mas ainda assim me diverte. 😛

  27. Olá, Salvador. Muito interessante esse tópico.

    Não sei se você conhece o historiador israelense Yuval Noah Harari, o best-seller do momento. No último livro dele, “Homo deus: uma breve história do amanhã” ele traça possibilidades do Século XXI a partir do conhecimento historiográfico sério e chega a conclusões bastante estarrecedoras.

    Harari pondera que uma das principais questões do futuro da humanidade será a inteligência artificial. Segundo ele, os algoritmos não-conscientes já estão substituindo os seres humanos em diversas tarefas e processos de tomada de decisão (vide de smartphones atuais a mega computadores que realizam cirurgias a distância, dirigem carros ou operam na bolsa). A capacidade de processamento de dados desses algoritmos é imensamente superior à humana, mas eles não são conscientes, de forma que não sabemos ainda até que ponto a inteligência precisa ser vinculada à consciência. Os algoritmos matemáticos estão provando que não há qualquer relação entre elas e isso nos faz pensar até mesmo qual o sentido da vida.

    Harari ainda enumera algumas das principais consequências desse fenômeno: perda de importância de uma grande massa de seres humanos no mercado de trabalho; colapso da crença humanista que começou na modernidade; e aprofundamento das desigualdades.

    Se opinasse sobre os Princípios de Inteligência Artificial de Asilomar, acredito que Harari os veria como uma reação do humanismo contra as novas tendências. Talvez diria que não há como estabelecer diretrizes éticas no mundo que está nascendo, pois há uma grande discrepância entre a velocidade de criação de novas tecnologias e os métodos normativos tradicionais. Algoritmos são inventados a todo momento para facilitar a vida humana e depois já sofrem transformações para outros usos nem tão éticos. Atualmente, algoritmos até mesmo se aprimoram sozinhos e se tornam algo diferente. Como controlar isso? É uma questão a ser respondida no século vindouro.

    A propósito, o autor cita Ray Kurzweil como um dos principais expoentes do dataísmo, a nova crença de que a vida e o universo nada mais seriam que um enorme processamento de dados 😀

    Vale a pena a leitura.

  28. As 3 Leis da Robótica viraram 23…hehe.

    Há muita, MUITA, discussão em cima de IA, tanto em níveis primários, quanto em níveis avançados.

    Muitos defendem que a “autoconsciência” das máquinas é algo apenas de ficção científica, outros dizem que é possível.

    Nós mesmos não sabemos como foi que o ser humano adquiriu consciência. Mesmo não sendo orgânicos, e sendo programados para fazer apenas aquilo que “ensinamos”, vale a pena ter a cautela.

    Agora, botando um pouco mais os pés no chão, acredito que estes princípios ajudem bastante a guiar o futuro da IA.

    Mas…sempre vai ter aquele trabalho ultrassecreto, ou aqueles gênios trabalhando no porão de casa… 😛

  29. Esta relação de procedimentos para pesquisa de IA parece a pagina 3 de um livro de TGA que define os princípios gerais de administração. Difícil de ler e muito chato de entender. Na minha opinião isto deveria tomar outro rumo. A IA já existe em tudo que a sociedade fabrica. Por exemplo meu PC já é IA . O aparelho de medir taxa de glicose que está ao meu lado é outro. Até o No-Break ao meu lado é um inteligentão pois sabe até quanto a corrente elétrica pifa. Vi recentemente um programa da inovações robóticas no Japão, um um robô de 16 motores simulava os movimentos humanos , mas de forma rudimentar. Lançaram agora um de 52 motores que melhora um pouco, mas nada digno de levar uma salva de palmas. É bem verdade, que com o tempo, estes motores acabam virando chips com funções diversas, mas estamos muito longe ou a distâncias galáticas de ter algo parecido com o cérebro. Com todo respeito, muito mais perigoso do que qualquer coisa nesta área de IA são os milhares de misseis espalhados pelo espaço tanto dos EUA como na Russia. Isto sim dá medo. Ainda mais agora que os EUA tem um doido varrido no poder.

    1. Acho melhor procurar melhor a definição de inteligência. Nenhum dos exemplos citados constitui inteligência. Seria similar a sua mãe falar para ir no mercado comprar café e caso nao tenha a marca X, trazer a marca Y, você fazer isso a vida inteira trazendo uma marca ou outra e denominar-se inteligente por isso, sendo que a inteligência é da instrução da sua mãe

  30. Tá aí Hollywood que já produziu tantos e tantos filmes (nem sei se é possível quantificar) onde diversas formas de IAs, de um jeito ou e outro, acabam chegando à conclusão de que devem exterminar a humanidade…

    Teoria da conspiração ou destino inexorável?

    Numa boa, nem lá, nem cá… Não existe nada melhor do que o uso de um recurso, qualquer que seja, utilizando-se de cautela, cooperação e humildade…

    Minha aposta é que neste século ainda veremos a “simbiose” IN + IA…

Comments are closed.