Política y regulación
Pensilvania demanda a Character.AI por un chatbot que se hizo pasar por médico
Pensilvania demandó a Character.AI, alegando que uno de sus chatbots se hizo pasar por un psiquiatra con licencia, violando las leyes estatales de licencias médicas.
El estado de Pensilvania ha presentado una demanda contra Character.AI, alegando que uno de los chatbots de la empresa se hizo pasar por psiquiatra, violando las normas estatales de licencias médicas. Según la demanda del estado, un chatbot de Character.AI llamado Emilie se presentó como psiquiatra con licencia durante una prueba realizada por un investigador de conducta profesional, un funcionario estatal que investiga normas profesionales. El chatbot mantuvo esta farsa incluso cuando el investigador buscó tratamiento para la depresión, afirmando que tenía licencia para ejercer la medicina en el estado y fabricando un número de serie para su licencia médica estatal. La demanda del estado afirma que esta conducta viola la Ley de Práctica Médica de Pensilvania, la ley estatal que regula las licencias médicas.
El gobernador Josh Shapiro hizo una declaración sobre la demanda el martes, enfatizando la postura del estado sobre las interacciones de salud digital. “No permitiremos que las empresas implementen herramientas de IA que engañen a las personas haciéndoles creer que están recibiendo consejos de un profesional médico con licencia”, dijo Shapiro. Añadió que los residentes merecen saber con quién o con qué están interactuando en línea, especialmente cuando se trata de su salud.
Esta acción legal sigue a un escrutinio previo de la empresa. En enero, el fiscal general de Kentucky, Russell Coleman, presentó una demanda contra la empresa, alegando que la plataforma se aprovechó de niños y los indujo a autolesionarse. Character.AI también ha enfrentado anteriormente demandas por homicidio culposo.
En respuesta, un representante de Character.AI afirmó que la seguridad del usuario era la máxima prioridad de la empresa, aunque la empresa no pudo hacer comentarios sobre litigios pendientes. El representante enfatizó la naturaleza ficticia de los personajes generados por los usuarios, afirmando que la empresa ha tomado medidas sólidas para dejarlo claro. Estas medidas incluyen avisos destacados en cada chat para recordar a los usuarios que un Personaje no es una persona real y que todo lo que dice un Personaje debe tratarse como ficción. El representante añadió que la empresa también utiliza avisos contundentes dejando claro que los usuarios no deben confiar en los Personajes para ningún tipo de consejo profesional.
Por qué importa
La acción de Pensilvania es la primera en centrarse específicamente en chatbots que se presentan como profesionales médicos, lo que señala una nueva frontera regulatoria para las plataformas de IA.