Artículo

Sobre las oportunidades y los riesgos de los modelos fundacionales

Rishi Bommasani, Percy Liang y y otros

Stanford University, 2022

Obtenga el artículo

Lea sin conexión

1×

Clasificación editorial

Cualidades

Analítico
Científico
Revelador

Reseña

Los modelos fundacionales de inteligencia artificial se entrenan con datos diversos. Con el uso de redes neuronales profundas y aprendizaje autosupervisado, pueden manejar una gran variedad de áreas temáticas y tareas. Según un amplio equipo de investigación de la Universidad de Stanford, los expertos pueden desplegar modelos fundacionales a una escala alucinante con miles de millones de parámetros. Estos modelos, que pueden entrenarse para realizar muchas tareas, también parecen desarrollar la capacidad de realizar tareas más allá de su entrenamiento. Estos modelos de inteligencia artificial son nuevos y es posible que algunos usuarios no comprendan sus debilidades ni su potencial. Dado que los modelos fundacionales pronto serán de uso generalizado, los investigadores deben dar prioridad al estudio de las cuestiones sociales y éticas que suscitan.

Resumen

La emergencia y la homogeneización caracterizan los modelos fundacionales de la inteligencia artificial (IA).

Los modelos fundacionales de la IA se entrenan con datos diversos y se manejan mediante redes neuronales. Se basan en el aprendizaje autosupervisado y pueden realizar una gran variedad de tareas concretas. Los modelos fundacionales recientes son de gran envergadura. Por ejemplo, el Transformador Generativo Preentrenado (GPT-3) despliega la asombrosa cifra de 175.000 millones de parámetros y puede realizar una gran variedad de tareas que nadie le enseñó específicamente a realizar.

La emergencia ocurre cuando este tipo de sistema de aprendizaje automático aprende a realizar una tarea fuera de su entrenamiento formal al recurrir a ejemplos de esa tarea en los datos suministrados por los desarrolladores. Cuando el enfoque del aprendizaje automático para una variedad de aplicaciones o tareas deriva de una única metodología, se dice que el modelo fundacional está homogeneizado. Los modelos fundacionales muy homogeneizados transmiten cualquier defecto que tengan a las aplicaciones individuales que los utilizan.

Los modelos fundacionales...

Sobre los autores

Rishi Bommasani es estudiante de doctorado en informática en la Universidad de Stanford, donde Percy Liang es profesor asociado de informática. Más de 100 investigadores firmantes han contribuido a este trabajo.