La IA hizo mejores a los abogados veteranos, pero no enseñó más a los que empiezan

El economista David Autor, del MIT e investigador visitante de Google, y seis investigadores de Google publicaron en septiembre un experimento con 133 abogados de patentes de 11 bufetes de Estados Unidos. El 7 de octubre salió una versión revisada, junto con un resumen en el blog de Google. Redactar una patente es describir un invento con palabras muy precisas para protegerlo. Es un oficio que se aprende escribiendo borradores y corrigiéndolos.

Durante tres meses, 90 de esos abogados tuvieron un asistente de IA de Google para redactar patentes, que entonces no estaba a la venta. Los otros 43 trabajaron con sus herramientas de siempre, sin IA para escribir. Quién iba a cada grupo se decidió por sorteo. Las notas las pusieron abogados de patentes de un despacho externo, sin saber quién había usado la herramienta.

Con la IA, mejor trabajo

Con el asistente, los textos salieron mejores a los 10 días y a los 90. La mejora fue mayor entre quienes llevaban menos de siete años de oficio. Según los autores, la nota media subió porque hubo menos trabajos flojos, no porque hubiera más trabajos excelentes. El ahorro de tiempo fue pequeño: unos 10 minutos en la primera tarea, que al grupo sin IA le llevó unos 110 minutos de media.

La prueba sin ayuda

Al final, a todos les pidieron corregir sin IA el borrador de una patente. Esa prueba medía lo que sabían hacer solos. Los veteranos que habían trabajado tres meses con la IA corrigieron claramente mejor que los veteranos que no la usaron.

Los que empezaban no mejoraron de media. Sus notas se separaron: hubo más correcciones malas, algo más de buenas y menos del montón. Además, dijeron estar mucho más satisfechos con su trabajo que los que no tuvieron la herramienta, y creían que la IA les hacía rendir más. Eso se cumplió cuando trabajaban con ella, pero no cuando les tocó trabajar solos.

Los autores no saben todavía por qué pasa. Su explicación provisional es que hace falta una base de oficio para que trabajar con IA deje un aprendizaje que dure.

Con qué cuidado leerlo

Google pagó el experimento, seis de los siete autores trabajan en Google, el séptimo es investigador visitante allí y la herramienta es suya. La muestra es pequeña, sobre todo la de quienes empiezan, y casi un tercio de los abogados no llegó a la prueba final. Duró solo tres meses y todos los bufetes trabajan habitualmente para Google, así que no representan a toda la profesión. Además, 15 de las 91 correcciones finales parecían hechas con ayuda de IA aunque no se permitía. Si se quitan, la ventaja de los veteranos se reduce y queda en el límite de lo que se considera un resultado sólido.

Por qué sirve aquí

El estudio es de Estados Unidos y de un oficio concreto, y los autores no lo han probado en otros. Pero se parece a cómo se aprende en muchos trabajos en España: en un despacho, una gestoría o una consultoría, quien empieza suele aprender haciendo borradores que alguien con experiencia corrige. Si la IA hace ese borrador, ese aprendizaje puede no llegar solo.