Un grupo de investigadores sometió al chatbot de IA a un cuestionario y sus respuestas en programación no convencieron.
La expresión que dice, todo depende del cristal con que se lo mida también es aplicable a ChatGPT: un estudio de ingeniería informática determinó que la Inteligencia Artificial generativa de OpenIA sólo respondió correctamente la mitad de las preguntas que le hicieron.
Mientras que unos años atrás esto hubiera sido considerado como un gran avance, con las altas expectativas que se tienen en la actualidad sobre este software, es considerado un rotundo fracaso.
Y si bien nadie discute que ChatGPT todavía tiene muchos aspectos en los que progresar, además de en la privacidad, sus altos niveles de popularidad le impiden fallar en sus diagnósticos.
Un equipo de investigadores de la Universidad de Purdue (Indiana, Estados Unidos) diseñó un examen con 517 preguntas sobre el desarrollo de software, con el objetivo de poner a prueba sus conocimientos.
Fue así que ChatGPT se enfrentó a Stack Overflow, una plataforma de preguntas y respuestas para programadores. El equipo tomó en cuenta la veracidad, consistencia, exhaustividad y concisión del chatbot.
El resultado final fue decepcionante. “Nuestro examen reveló que el 52 % de las respuestas de ChatGPT contienen inexactitudes y el 77 % son detalladas”, detalla el artículo.
El estudio concluyó que el 54% de los errores cometidos debido a la incapacidad de ChatGPT para entender el contexto subyacente de la pregunta que se formula. Cuando sí lo entendió, frecuentemente tuvo problemas para proporcionar una respuesta correcta.
El equipo destaca la necesidad de ser muy precavidos al momento de emplear las respuestas de ChatGPT en tareas de programación u otras áreas.
“Esperamos que este trabajo fomente más investigación sobre la transparencia y la comunicación de la inexactitud en las respuestas generadas por máquinas”, señalaron en el informe.
Un costo demasiado elevado
Aunque con gran liviandad OpenAI se encargó de enumerar las profesiones que su chatbot podría sustituir, un oscuro presente y futuro se está cerniendo sobre la compañía y amenaza con una posible bancarrota.
La investigación llevada a cabo por SemiAnalysis revela que OpenAI desembolsa 695.000 dólares diarios para mantener a flote el chatbot. Según la firma, el sistema consume aproximadamente 3,617 servidores HGX A100, que integran un total de 28,936 GPU.
Uno de los principales factores que contribuyen a estos costos descomunales son los chips especializados que demandan mucha cantidad de energía para mantener el sistema en funcionamiento.
El salvavidas que todavía lo mantiene a flote son los 10.000 millones de dólares que le pagó Microsoft. Lo que muchos se preguntan es qué ocurrirá cuando esto se acabe.
A pesar de sus habilidades impresionantes, ChatGPT ha luchado por generar ingresos suficientes que permitan a OpenAI cubrir sus costes operativos, pero incluso las versiones más recientes, como GPT-3.5 y GPT-4, están teniendo dificultades para lograr tener un beneficio que realmente se considere una victoria.
SimilarWeb informa que la afluencia de usuarios al sitio web de ChatGPT sufrió una reducción del 12% en julio de 2023 en comparación con junio, pasando de 1.700 millones a 1.500 millones.
Además, las API de OpenAI enfrentan la competencia de múltiples modelos de lenguaje de código abierto, como LLaMA 2, que son libres de uso y modificación. Estos modelos personalizables han ganado terreno al poder adaptarse a casos y escenarios específicos, lo que contrasta con las versiones restringidas de OpenAI.
SL
