La calidad en la era de la inteligencia artificial: un rol que no desaparece, evoluciona

Es ampliamente conocido que con la introducción de ChatGPT a finales del 2022 las grandes empresas tecnológicas dieron un salto a la incorporación de herramientas de Inteligencia Artificial generativa (IA generativa) en sus productos. Microsoft es una de las que adoptó una estrategia agresiva de IA con la integración de Copilot en sus diferentes soluciones como: Windows, Teams, Office, entre otros. También ha apostado grandemente en OpenAI, la empresa que desarrolla ChatGPT, llegando a invertir cerca de 13 mil millones de dólares desde el 2019¹.

Sin embargo, es la opinión de muchos (incluida la mía) que Microsoft ha descuidado la calidad de sus productos por su enfoque en la IA², llegando incluso a popularizarse el término “Microslop”, refiriéndose a la generación de contenido basura por la IA generativa (llamado “slop” en inglés). Entre las principales críticas que ha recibido Microsoft por parte de sus usuarios es que Copilot tiene un desempeño inferior en comparación con otros chatbots como Claude y ChatGPT; también la incorporación de Copilot en las diferentes soluciones de Microsoft se siente forzada e intrusiva, tratando de resolver problemas que no existen y en ocasiones interfiriendo con el flujo de trabajo del usuario.

Para poner un ejemplo concreto, hace un tiempo atrás estaba creando una plantilla en Excel para un cliente que ameritaba el uso de fórmulas complejas. Siendo Copilot de Microsoft decidí probarlo para que me ayudara con las fórmulas, pues entendía que al ser un producto de la misma empresa que desarrolla Excel debería de hacer un mejor trabajo en comparación con las demás. Para mi sorpresa, Copilot frecuentemente sugería funciones que no existían en Excel o generaba combinaciones de funciones que producían un error al ejecutarlas. Me di cuenta que herramientas como Gemini, ChatGPT o Claude daban un mejor resultado para el trabajo que estaba realizando, por lo que decidí no volver a usar Copilot.

Posiblemente Copilot haya mejorado desde aquel momento en que lo usé, pero no tengo la motivación de otra vez invertir tiempo usándola cuando ya me siento satisfecho con otras soluciones de IA generativa. Sin embargo, mientras Microsoft seguía con un despliegue agresivo de IA sobre toda su línea de productos, la calidad de sus soluciones comenzaba a degradarse: actualizaciones de Windows que introducen fallos importantes al sistema, problemas de interoperabilidad y resultados inconsistentes entre las diferentes versiones de Copilot, problemas de rendimiento de sus aplicaciones, entre otros.

Todo lo anterior conllevó a Microsoft a tomar dos acciones que anunció recientemente³:

1. Pausar la integración de Copilot para enfocarse en corregir los problemas reportados por los usuarios
2. Nombrar a un ejecutivo para que asuma un rol que se enfoque en la ingeniería de calidad

Por otro lado, recientemente Anthropic, la empresa que desarrolla Claude, publicó un artículo con los resultados de un experimento que corrieron con agentes de Claude para el desarrollo de un compilador⁴. Sin entrar en tecnicismos, la creación de un compilador es una tarea compleja, puesto que es la herramienta que permite traducir el código escrito por un humano a un lenguaje que las máquinas puedan entender (por ej.0 y 1). Los resultados fueron sorprendentes, puesto que lograron que el compilador funcionara para varios proyectos de desarrollo, sin embargo, entre las limitaciones que el artículo expone me llamaron mucho la atención las siguientes:

• El código generado por los agentes de Claude no es eficiente.
• La calidad del código generado por Claude no es comparable con la calidad del código generado por un programador experimentado
• El compilador creado por Claude funciona para muchos casos, pero no es un reemplazo de un compilador real.

¿Y qué podemos aprender de todo esto que está pasando en el mundo de la tecnología?

Si bien la IA nos ayudará bastante para agilizar y automatizar procesos debemos ser cuidadosos en su implementación. Los resultados de la IA generativa suelen ser de menor calidad en comparación con el resultado generado por una persona experimentada, por lo que se hace vital tener roles y procesos claros que velen por la calidad de los productos y servicios.

Por su naturaleza, la IA generativa es probabilística. Eso significa que no siempre obtendrás el mismo resultado aunque se ejecute con las mismas entradas y en el mismo contexto. Sin embargo, las organizaciones necesitan procesos que entreguen resultados consistentes y predecibles. Al incorporar la IA en los procesos, productos y servicios debemos asegurarnos que la experiencia del cliente o usuario no se vea impactada de manera negativa y establecer controles para asegurar que los procesos con IA se ejecuten según los parámetros y requisitos establecidos.

La trilogía de Juran, que consiste en Planificar la Calidad, Controlar la Calidad y Mejorar la Calidad, sigue siendo tan relevante hoy día como lo fue hace más de 50 años atrás. Por ejemplo, la aplicación de la trilogía de Juran en el contexto actual podría verse algo como esto:

• Al planificar un proceso con IA debemos establecer el método para revisar la salida generada por la IA, quién lo verificará y cómo se verificará, que competencias deberá tener, qué herramientas utilizará. En esencia, es contar con un Plan de Calidad del proceso que considere las salidas generadas por la IA.
• Durante el control se implementan las actividades de supervisión y/o verificación de la IA. Por ejemplo, una persona podría tomar una muestra de las respuestas ofrecidas por un chatbot de servicio al cliente para evaluar la calidez e idoneidad de estas respuestas. O bien, se puede buscar un enfoque más moderno, donde una IA generativa verifica el resultado de otra IA generativa. El contexto importa, por lo que al establecer un mecanismo de control debemos balancear entre los riesgos del mecanismo de control (que tan confiable es) y los costos de ese método de control. Por ejemplo, industrias reguladas deberán de ser más cuidadosas al implementar controles basados en IA que otras industrias de menor riesgo.
• Por último, los datos y estadísticas recopilados durante el control se procesan para retroalimentar el equipo encargado de integrar y/o desarrollar la IA en los procesos de la organización, de manera que se hagan los ajustes de lugar para fortalecer estos modelos. Es importante destacar que el desempeño de los modelos de IA pueden degradarse a medida que cambia el contexto en el que la organización se desempeña (o las entradas que reciben), por lo que este ciclo de retroalimentación es vital para poder contar con modelos confiables.

Lo anterior implica que el rol del profesional de la calidad no va a desaparecer. Al contrario, a mi parecer este rol será más relevante en el contexto actual. Sin embargo, las competencias requeridas para el profesional de la calidad definitivamente cambiarán y serán más exigentes (como pasará con otras disciplinas). En el nuevo contexto vamos a necesitar profesionales de la calidad que sean más cuidadosos en la elaboración de procedimientos, asegurándose que estos no sean ambiguos y estén ajustados a la realidad de los procesos. Por ejemplo, hace unas semanas atrás me tocó revisar un borrador de procedimiento que un cliente creó con IA generativa. El documento decía mucho y nada a la vez: actividades muy ambiguas, pasos genéricos, etc, por lo que tuvimos que cambiarlo por completo.

También necesitaremos profesionales de la calidad que no solo generen paretos, diagramas de barras y calculen promedios. Deberán tener la capacidad de realizar análisis más complejos de los datos de sus procesos y generar información valiosa para la toma de decisiones. Y por supuesto, tendrán que dominar las nuevas herramientas tecnológicas para realizar su trabajo y ser creativos en la aplicación de estas herramientas para maximizar valor.

Por último, pero no menos importante, será cada vez más relevante que el profesional de la calidad entienda el concepto de proceso (que muchas veces confunden con el procedimiento). Porque, independientemente de la tecnología que exista en el momento, las organizaciones siempre funcionarán con procesos, estén estos automatizados o no. Por tanto, tendrá cada vez más vigencia el principio básico de que para controlar el resultado, debemos comprender y controlar el proceso. Integrar una tecnología probabilística sin comprenderla ni establecer controles en procesos que exigen resultados consistentes es, inevitablemente, una receta para el caos.

Referencias

[1] https://www.cnbc.com/2025/10/29/microsoft-open-ai-investment-earnings.html

[2] https://www.wsj.com/tech/ai/microsofts-pivotal-ai-product-is-running-into-big-problems-ce235b28

[3] https://blogs.microsoft.com/blog/2026/02/04/updates-in-two-of-our-core-priorities/

[4] https://www.anthropic.com/engineering/building-c-compiler