Un chatbot impulsado por inteligencia artificial creado por la ciudad de Nueva York para ayudar a los propietarios de pequeñas empresas ha sido criticado por brindar consejos inexactos y extraños que contradicen las políticas locales e incluso alientan a las empresas a violar la ley. A pesar de los informes de estos problemas por parte del medio de noticias tecnológicas The Markup, la ciudad ha optado por mantener el chatbot en su sitio web oficial del gobierno. El alcalde Eric Adams defendió la decisión y admitió que las respuestas del chatbot fueron incorrectas en algunos casos.
Lanzado en octubre como un recurso para propietarios de negocios, el chatbot proporciona respuestas de texto generadas algorítmicamente a preguntas sobre cómo navegar por los procesos burocráticos de la ciudad. Incluye una advertencia de descargo de responsabilidad de que puede producir información incorrecta, dañina o sesgada y aclara que sus respuestas no son asesoramiento legal. Sin embargo, el chatbot sigue ofreciendo una orientación falsa, lo que genera preocupación entre los expertos sobre los riesgos de que los gobiernos implementen sistemas impulsados por IA sin una supervisión adecuada.
El chatbot ha proporcionado consejos preocupantes, como sugerir que es legal que un empleador despida a un trabajador que denuncia acoso sexual o se niega a cortarse las rastas. También afirmó incorrectamente que las empresas no están obligadas a compostar o utilizar métodos específicos de eliminación de residuos. En un caso, el chatbot incluso aconsejó que un restaurante podría servir queso mordisqueado por un roedor, enfatizando la importancia de informar a los clientes sobre la situación.
Microsoft, la compañía que impulsa el chatbot a través de sus servicios Azure AI, declaró que están colaborando con los funcionarios de la ciudad para mejorar el servicio y garantizar resultados precisos alineados con la documentación oficial de la ciudad. A pesar de las críticas, el alcalde Adams defendió el chatbot, atribuyendo las inexactitudes al proceso de resolver problemas tecnológicos y rechazando las llamadas para suspender el servicio.
Los expertos han destacado los riesgos asociados con los modelos de lenguaje grandes como el utilizado en el chatbot de Nueva York, enfatizando el potencial de desinformación y respuestas ilógicas. Se han planteado preocupaciones similares sobre los chatbots implementados por empresas privadas, con casos de consejos engañosos que conducen a la insatisfacción de los clientes y disputas legales. El respaldo del sector público a dicha tecnología plantea preocupaciones adicionales sobre la rendición de cuentas y las posibles consecuencias de seguir una orientación inexacta.
A medida que otras ciudades consideran implementar chatbots, los expertos instan a la precaución y enfatizan la importancia de seleccionar cuidadosamente el contenido y definir el problema que el chatbot está destinado a resolver. Las lecciones del chatbot de Nueva York sirven como una advertencia para las ciudades que exploran soluciones impulsadas por IA, lo que subraya la necesidad de responsabilidad y despliegue responsable de la tecnología en el sector público.
temas: New York EE.UU. Microsoft
