O setor de telecomunicações se mobiliza para melhorar o desempenho dos modelos de linguagem de grande escala (LLMs, por suas siglas em inglês), já que as soluções atuais demonstraram ser inadequadas para lidar com conhecimentos técnicos, regulamentações e problemas específicos do setor, afirma um novo comunicado da GSMA às vésperas do MWC25. Diante dessa necessidade, a GSMA Foundry, o hub de inovação da associação, impulsionou a criação do Open-Telco LLM Benchmarks, uma comunidade de código aberto que busca desenvolver um framework padronizado para avaliar a aplicabilidade desses modelos em cenários reais de telecomunicações. A iniciativa conta com o apoio de empresas como Hugging Face, Khalifa University, The Linux Foundation e um grupo de operadoras móveis e fornecedores de tecnologia.
O crescente uso de IA no setor de telecomunicações evidenciou as limitações dos LLMs para lidar com conhecimentos técnicos, regulamentações e resolução de problemas em redes, segundo a GSMA. Testes recentes mostram que o GPT-4 obteve menos de 75 por cento no conjunto de dados TeleQnA, projetado para avaliar o conhecimento dos modelos de IA no campo das telecomunicações. Ainda mais significativo, na classificação de documentos da 3GPP, o modelo mal superou 40 por cento. Já o Microsoft Phi2 alcançou apenas 10 por cento no benchmark MATH500, destacando os desafios dos LLMs no raciocínio matemático avançado.
“A IA atual tem dificuldades para responder a consultas específicas do setor de telecomunicações, o que resulta em respostas imprecisas ou pouco úteis”, afirma Louis Powell, diretor de iniciativas de IA da GSMA. Nesse contexto, o Open-Telco LLM Benchmarks surge para preencher essa lacuna por meio de avaliações transparentes de capacidades, eficiência energética e segurança dos modelos.
Entre as operadoras móveis que apoiam a iniciativa estão Deutsche Telekom (DT), LG Uplus, SK Telecom e Turkcell, juntamente com a Huawei como fornecedora de tecnologia. A comunidade permitirá que operadoras, pesquisadores e desenvolvedores contribuam com casos de uso, conjuntos de dados e modelos para avaliação em um framework padronizado. O Hugging Face hospedará os benchmarks para garantir transparência e incentivar a colaboração global.
No setor acadêmico, a participação da Khalifa University reforça o rigor científico do projeto. “A academia desempenha um papel crucial na validação da IA para telecomunicações, garantindo avaliações rigorosas e de alta integridade”, destaca o professor Merouane Debbah, diretor do Centro de Pesquisa em 6G da instituição.
Arpit Joshipura, gerente geral de redes, edge e IoT na The Linux Foundation, ressaltou que a comunidade oferece os padrões abertos que a indústria precisa. “O GSMA Open-Telco LLM Benchmarks introduz transparência e avaliações padronizadas que permitirão às operadoras implementar IA de maneira confiável”, afirma.
O lançamento ocorre em um momento em que o setor de telecomunicações se compromete a desenvolver IA de maneira ética e sustentável. Um marco anterior foi a criação do GSMA Responsible AI Maturity Roadmap, que auxilia as operadoras móveis na aplicação das melhores práticas desde a concepção até a evolução das soluções de IA, segundo a GSMA em seu comunicado.
O impacto da IA no setor de telecomunicações também será um tema central no MWC25 Barcelona, onde será realizada a cúpula “Gen AI Summit: Experimentation to Transformation”. No evento, especialistas de operadoras como BT, e& e Orange discutirão aplicações práticas da IA na otimização de redes e na experiência do cliente.