Modele sztucznej inteligencji są nadal znacznie lepiej dostosowane do języka angielskiego niż do wielu języków europejskich. EuroDense, czyli model opracowany przez OPI-PIB, który specjalizuje się w wyszukiwaniu informacji, ma pomóc zmniejszyć tę lukę. Obsługuje dziewięć europejskich języków, a w siedmiu z nich osiąga lepsze wyniki niż inne modele wielojęzyczne porównywalnej wielkości. Rozwiązanie powstało w ramach europejskiego projektu LLMs4EU i ma wspierać wdrażanie lokalnych narzędzi AI m.in. w administracji, energetyce czy telekomunikacji.
– Modele językowe sztucznej inteligencji są przede wszystkim anglocentryczne, czyli rozwijają je państwa anglosaskie, które skupiają się na najlepszym działaniu w domenie języka angielskiego, natomiast w innych językach są mniej skuteczne, na przykład francuskim, niemieckim czy hiszpańskim. Naszym celem przy budowaniu EuroDense było wypełnienie tej luki, aby powstał model, który w zakresie języków kontynentalnych miał jakość modeli anglocentrycznych – podkreśla w rozmowie z agencją Newseria dr inż. Marek Kozłowski, kierownik AI Lab OPI-PIB.
AI Lab działający w Ośrodku Przetwarzania Informacji (OPI) opracował i udostępnił model EuroDense, przeznaczony do wyszukiwania informacji w dziewięciu językach. To pierwsze wielojęzyczne rozwiązanie tego typu stworzone przez zespół badawczy OPI. Model został zaprojektowany z myślą o wyszukiwarkach, systemach RAG (Retrieval Augmented Generation), chatbotach oraz asystentach AI, które wymagają skutecznego przeszukiwania dużych zbiorów dokumentów.
– Model EuroDense obsługuje dziewięć języków: niemiecki, francuski, hiszpański, portugalski, włoski, holenderski, rosyjski, angielski i polski. We wszystkich językach, poza portugalskim i angielskim, przebija wszystkie inne modele porównywalnej wielkości, które były do tej pory znane, inne modele multijęzyczne amerykańskie czy chińskie – podkreśla dr inż. Marek Kozłowski.
EuroDense jest modelem typu dense retriever, czyli narzędziem, które wyszukuje informacje na podstawie znaczenia treści, a nie tylko dopasowania słów kluczowych. Liczy 435 mln parametrów, a do jego treningu wykorzystano wielojęzyczny korpus obejmujący ok. 200 mln tekstów.
– EuroDense powstał w ramach projektu LLMs4EU, inicjatywy Unii Europejskiej, której celem jest stworzenie koalicji na rzecz rozwoju technologii językowych w UE. Projekt jest współfinansowany przez Unię oraz Ministerstwo Cyfryzacji. Jego celem jest walka z luką kompetencyjną i tworzenie rozwiązań LLM-owych na rzecz UE – tłumaczy kierownik AI Lab OPI-PIB.
LLMs4EU jest częścią szerszych działań Unii na rzecz rozwoju własnych modeli językowych. Jedną z barier jest niedobór danych w językach europejskich potrzebnych do trenowania LLM-ów. UE rozwija w tym obszarze m.in. Alliance for Language Technologies (ALT-EDIC) oraz European Language Data Space (LDS). Ten ostatni ma zwiększyć dostępność wielojęzycznych danych oraz ułatwić ich gromadzenie, wymianę i ponowne wykorzystanie na potrzeby rozwoju europejskich modeli AI.
– Obecnie wdrażanie LLM-ów to nie jest tylko postawienie LLM-a, jak ChatGPT, ale budowanie wokół niego wielu usług. Teraz najpopularniejsze są wdrożenia typu RAG, gdzie mamy wyszukiwarkę na naszej lokalnej bazie i dopiero te informacje przepływają do LLM-a, który na ich podstawie podejmuje decyzje lub generuje odpowiedź w języku naturalnym. Dlatego nie tylko stworzenie samego LLM-a, ale też budowa wokół niego narzędzi, które będą go wspierały, gwarantuje nam skuteczne wdrożenie w Unii Europejskiej czy w krajach członkowskich różnych rozwiązań – przekonuje dr inż. Marek Kozłowski.
Retrieval Augmented Generation (RAG) pozwala połączyć duży model językowy z zewnętrznymi źródłami wiedzy, np. dokumentami i bazami danych organizacji. Dzięki temu odpowiedzi mogą się opierać na aktualnych i zweryfikowanych informacjach, których model nie miał w swoich danych treningowych. Jak wskazuje Komisja Europejska, takie rozwiązanie może zwiększać dokładność odpowiedzi, ograniczać generowanie treści niepopartych źródłami i umożliwiać wskazywanie źródeł bez konieczności ponownego trenowania modelu.
– EuroDense jest narzędziowym modelem, który wspiera inne LLM-y, żeby jak najlepiej działały i mogły być wdrażane w krajach Unii Europejskiej w różnych zastosowaniach: w energetyce, telekomunikacji, sektorze publicznym czy ochronie zdrowia, czyli tam, gdzie są potrzebne modele AI, które muszą przeszukiwać warstwę danych. Stąd wysokie kompetencje EuroDense w wyszukiwaniu informacji w siedmiu językach gwarantują, że będziemy jak najlepiej wyszukiwali informacje w lokalnych zbiorach danych i zwracali je do LLM-ów, które będą je dalej przetwarzały na potrzeby różnych zastosowań – wyjaśnia ekspert.
EuroDense został udostępniony bezpłatnie jako rozwiązanie open source na platformie Hugging Face. Dzięki temu może być wykorzystywany przez instytucje naukowe, administrację publiczną i przedsiębiorstwa do budowy m.in. wielojęzycznych systemów wyszukiwania informacji, baz wiedzy i aplikacji stosujących AI. Model wykorzystuje doświadczenia zdobyte przez zespół OPI-PIB przy tworzeniu rodziny PolDense, przeznaczonej do wyszukiwania informacji w języku polskim, i rozszerza je na środowisko wielojęzyczne.
– Planujemy rozwijać model o kolejne języki. Potrzeby w zakresie rozwoju tych technologii językowych są olbrzymie. Staraliśmy się adresować ten model pod kątem tych języków, które są najczęściej używane w kontynentalnej Europie – wskazuje kierownik AI Lab OPI-PIB.
Rozwój własnych modeli językowych jest częścią szerszych działań Europy na rzecz zmniejszenia dystansu do światowych liderów AI. Według Stanford AI Index 2026 w 2025 roku prywatne inwestycje w generatywną AI w Stanach Zjednoczonych sięgnęły 285,9 mld dol., wobec 20,9 mld dol. w Europie. Z danych za 2024 rok wynika, że amerykańskie instytucje stworzyły 40 znaczących modeli AI, podczas gdy europejskie łącznie trzy.
Unia Europejska rozbudowuje własną infrastrukturę obliczeniową – pod koniec lipca Komisja Europejska rozpoczęła nabór ofert na utworzenie do siedmiu gigafabryk AI. Na ich rozwój przewidziano do 10 mld euro środków unijnych i krajowych, które mają uruchomić co najmniej 20 mld euro inwestycji prywatnych. Skala amerykańskich przedsięwzięć infrastrukturalnych jest jednak znacznie większa – sam projekt Stargate zakłada inwestycje do 500 mld dol. w infrastrukturę AI w USA w ciągu czterech lat.
– Zdolność Unii Europejskiej do zbudowania konkurencji dla amerykańskich czy chińskich koncernów technologicznych zależy tylko od niej. Żeby zbudować konkurencję dla big techów, trzeba zbudować swojego big techa w Unii, czyli trzeba mieć EU techa, który będzie w stanie dostarczyć usługi porównywalne z Gmailem, Google Docs, czyli wszystkimi chmurowymi aplikacjami, jakich używamy regularnie. Żeby to się udało, Unia Europejska musi zbudować jeden duży podmiot, który będzie dostarczał usługi dla całej UE. Według mnie kwestie polityczne i interesy polityczne różnych członków Unii nie pozwolą na zbudowanie takiego podmiotu – ocenia dr inż. Marek Kozłowski.
Napisz komentarz
Komentarze