Tem muita gente que coloca a inteligência artificial como uma tecnologia potencial de risco existencial, ou seja, um risco que pode levar à extinção da humanidade
Diogo Cortiz
No centro desse temor está a criação de sistemas cada vez mais sofisticados, algo como a AGI (inteligência artificial geral), que terá capacidade igual ou superior à dos seres humanos. Se essa super inteligência não estiver alinhada aos interesses da humanidade, a coisa pode desandar.
Para deixar mais clara a ideia, Diogo fala de um experimento mental desenvolvido pelo filósofo Nick Bostrom, autor do livro "Superinteligência: Caminhos, perigos, estratégias". Imagine uma fábrica de clipes de papel gerida por robôs criados para produzir com a máxima eficiência. De repente, a planta passa a consumir mais energia à medida que precisa criar mais clipes.
Talvez ela comece a tirar energia elétrica dos humanos ou pode ser que ela precise de mais minérios e tire isso dos humanos. Até o momento em que ela vai dizimar os humanos porque o foco era maximizar a produção de clipes de papel
Diogo Cortiz
A pergunta de Diogo é: como fazer para essa IA, com capacidade superior à dos humanos, ser alinhada com o que os humanos pensam?
Conversa de endinheirado
Essa pergunta tem sido respondida de diversas maneiras por gente poderosa que tem aderido a algumas de diversas correntes filosóficas da moda. Para lá de controversas, elas versam a respeito da sobrevivência humana após cataclismas que tornem a vida insustentável. No caso: a IA poder exterminar a humanidade.