Iniciativa de código abierto para evaluar modelos de IA en telecomunicaciones
GSMA Foundry ha lanzado una iniciativa de código abierto para mejorar los modelos de lenguaje grande (LLMs) en aplicaciones de telecomunicaciones. Denominada Open-Telco LLM Benchmarks, esta iniciativa crea un nuevo marco para evaluar modelos de IA en términos de capacidad, eficiencia energética y seguridad en escenarios del mundo real.
La iniciativa de Open-Telco LLM Benchmarks de GSMA proporcionará una plataforma estandarizada para evaluar modelos de IA en telecomunicaciones, mejorando su rendimiento y promoviendo la adopción de prácticas éticas y sostenibles.
Objetivos y Apoyo de la Iniciativa
Descrita por GSMA como una comunidad de código abierto, la iniciativa cuenta con el respaldo de la Universidad Khalifa en Abu Dhabi, Hugging Face y la Fundación Linux. Entre los operadores que apoyan el lanzamiento se encuentran Deutsche Telekom, LG Uplus y SK Telecom, así como el proveedor Huawei.
Problemas actuales con los Modelos de IA en Telecomunicaciones
A medida que la adopción de IA en telecomunicaciones se acelera, GSMA explicó que los actuales modelos de lenguaje grande (LLMs) tienen problemas con la resolución de problemas, el cumplimiento normativo y el manejo de conocimientos técnicos de telecomunicaciones. Se ha revelado que modelos como GPT-4 obtuvieron puntajes inferiores al 75% en conjuntos de datos específicos del sector telecomunicaciones.
Implementación de Benchmarks Estándar
La nueva comunidad de benchmarks permitirá a operadores móviles, investigadores de IA y desarrolladores contribuir con casos de uso, conjuntos de datos y modelos de IA para su evaluación. Un sistema de benchmarking estandarizado permitirá que los modelos de IA sean probados en desafíos prácticos de telecomunicaciones, incluyendo expertise de dominio, razonamiento matemático, eficiencia energética y seguridad. Los benchmarks se alojarán en la plataforma de Hugging Face para promover la transparencia y el compromiso.
Compromiso con IA Ética y Sostenible
Powell agregó que al establecer benchmarks, la iniciativa busca mejorar el rendimiento de los modelos de IA asegurando que la IA en telecomunicaciones sea segura, confiable y alineada con las necesidades operativas del mundo real. La iniciativa también está alineada con los compromisos previos de GSMA, como la introducción del Responsible AI Maturity Roadmap el año pasado.
Fuente: macrumors.com
