Nace Carballo, o primeiro LLM en galego

O Proxecto Nós, froito da colaboración do CiTIUS e o ILG, vén de anunciar a creación de Carballo: un grande modelo de linguaxe en galego, que permitirá a creación de novas ferramentas e aplicacións de IA xenerativa para a nosa lingua.
Carballo é un modelo fundacional para construír ferramentas versátiles mediante IA xenerativa con tecnoloxía lingüística, como chatbots, tradutores ou correctores automáticos. Tal e como acontece con outros modelos fundacionais, Carballo precisa aínda de pequenas adaptacións técnicas para se converter nun sistema de diálogo co que poder manter unha conversa fluída e ofrecer respostas automáticas cunha interacción sinxela e intuitiva.
Carballo é froito de dous proxectos de investigación: Nós, impulsado pola Xunta de Galicia, e ILENIA, promovido polo Ministerio para a Transformación Dixital e da Función Pública para o impulso de tódalas linguas oficiais do Estado. Neste sentido, o modelo galego está baseado en Flor1.3, o modelo homólogo desenvolvido previamente para o catalán no marco do proxecto AINA-ILENIA, que se desenvolve no Barcelona Supercomputing Centre (BSC-CNS).
Carballo conta cunha arquitectura GPT de 1.300 millóns de tokens, ou sexa 1.300 millóns de valores axustados ao longo dun proceso de adestramento a partir de corpus de texto, encamiñado a lograr que o modelo se desenvolva cunha alta competencia no uso do galego; o seu adestramento foi un gran desafío computacional, sendo necesaria a colaboración do CESGA.
Para o adestramento de Carballo usouse un corpus masivo de textos en galego, chamado CorpusNós, formado por aproximadamente 2.100 millóns de palabras: o maior corpus textual en galego existente ata o día de hoxe. Unha parte significativa deste corpus foi elaborada no contexto do propio Proxecto Nós, en virtude de numerosos convenios e acordos de cesión con empresas e organizacións fornecedoras de datos textuais. Así, neste ciclo de desenvolvemento cooperativo desde os datos en bruto teñen participado distintos medios de comunicación, as editoriais Galaxia e Laiovento, e diversas institucións públicas, como o Parlamento de Galicia, o Consello da Cultura Galega, as deputacións da Coruña e de Lugo ou a Real Academia Galega, entre moitas outras.

Recursos libres e de balde

O proxecto ILENIA, impulsado polo Ministerio para a Transformación Dixital e da Función Pública, ten como obxectivo xerar recursos dixitais que permitan desenvolver aplicacións multilingües nas diferentes linguas oficiais do Estado. Xunto á USC (Nós, galego) e o BSC-CNS (AINA, catalán), no proxecto participan tamén os centros CENID (proxecto VIVES, valenciano) e HiTZ (proxecto NEL-GAITU, éuscaro). O modelo fundacional Carballo para o galego é un paso máis nesta estratexia de dispoñer das capacidades científico-tecnolóxicas para non depender de grandes corporacións alleas á realidade social e cultural de Galicia, creando recursos abertos e libres para que outras empresas e institucións poidan desenvolver tecnoloxías lingüísticas en galego de amplo interese social, e mesmo económico. Trátase, en suma, de axudar a crear un tecido empresarial dinámico que medre cos últimos avances da intelixencia artificial e que xire á volta da lingua galega, potenciando tamén as relacións co ámbito lusófono e, deste xeito, co mercado lingüístico do portugués, próximo aos 300 millóns de falantes.
Carballo foi publicado en aberto, a fin de que tanto persoas expertas como empresas de software poidan utilizar o modelo para desenvolver novos produtos, facer axustes ou mesmo integrar o seu uso en aplicacións de utilidade para o público xeral.
Desde o CiTIUS remárcase o feito de que Carballo foi desenvolvido «conforme ás liñas mestras que guían a IA Confiable», un paradigma de Intelixencia Artificial responsable aliñado cos principios TrustWorthy (digno de confianza) recollidos no Regulamento Europeo de IA, primeira lei de intelixencia artificial do mundo, aprobada recentemente polo Parlamento Europeo.
Polo que respecta ao Proxecto Nós, o equipo responsable de Carballo continúa a traballar na mellora da calidade do modelo, así como no incremento do tamaño de novos modelos fundacionais e a súa adaptación á resolución de múltiples tarefas, tal e como fan xa ferramentas comerciais de uso estendido como ChatGPT. Está dispoñible un unha versión de demostración, que mesmo permite un uso básico do modelo, xunto con algúns exemplos preconstruídos.