La inteligencia artificial amigable (también llamada IA amigable o FAI por sus siglas en inglés) es una IA fuerte (IAF) e hipotética, puede tener un efecto positivo más que uno negativo sobre la humanidad. El término fue acuñado por Eliezer Yudkowsky[1] para discutir acerca de los agentes artificiales súper inteligentes que de manera confiable implementan los valores humanos. Stuart J. Russell y Peter Norvig, liderando el libro de texto de inteligencia artificial, Inteligencia Artificial: un Acercamiento Moderno, describen dicha idea:[2]
Yudkowsky (2008) entra en mayor detalle acerca de la IA amigable. Él afirma que la amabilidad, un deseo de no lastimar a los humanos, debe de ser diseñada desde el comienzo. Los diseñadores deben reconocer que tan defectuosos pueden ser sus diseños y que tanto aprenderán y evolucionarán los robots con el tiempo. Por lo tanto, el desafío es un diseño de mecanismos de los sistemas de IA bajo un sistema de chequeos y balances para lograr las funciones de utilidad de sistemas que permanecerán amigables frente a cualquier cambio.
'Amigable' es usado en este contexto como terminología técnica y escoge agentes que son seguros y útiles, no necesariamente aquellos que son "amigables" en el sentido coloquial. El concepto es invocado principalmente en el contexto de discusiones de agentes artificiales de auto-mejora recursiva que rápidamente explota en inteligencia, con el argumento de que esta tecnología hipotética pudiera tener una larga, rápida y difícil tarea de controlar el impacto en la sociedad humana.[3]