Mistral AI ujawnia koszt środowiskowy LLM i wzywa branżę do transparentności

Francuski start-up Mistral AI opublikował szczegółowy raport oddziaływania na środowisko swojego modelu o 123 miliardach parametrów. To pierwsza tak kompleksowa analiza w branży, która rzuca nowe światło na rzeczywisty koszt ekologiczny technologii generatywnej sztucznej inteligencji. Dane pokazują, że całościowy ślad węglowy i wodny, obliczony przy użyciu pełnej analizy cyklu życia (LCA), jest znacznie wyższy niż w dotychczasowych, mniej kompleksowych szacunkach dla innych modeli.

Zgodnie z raportem, stworzenie i wdrożenie modelu wiązało się z emisją około 20 000 ton CO2 oraz zużyciem 281 000 metrów sześciennych wody, co odpowiada objętości 112 basenów olimpijskich. Kluczowym wnioskiem jest fakt, że faza treningu odpowiada za przytłaczającą większość tego wpływu – 85,5% emisji dwutlenku węgla i 91% konsumpcji wody. Metodologia Mistral jest bardziej rygorystyczna niż powszechnie stosowane, ponieważ uwzględnia nie tylko bezpośrednie zużycie energii przez centra danych, ale również koszt środowiskowy budowy powiązanej infrastruktury energetycznej i produkcję komponentów serwerowych.

W przypadku codziennego użytkowania, czyli tzw. wnioskowania, wpływ jednostkowy jest znacznie mniejszy. Jak szacuje firma, wygenerowanie jednej strony tekstu to koszt rzędu 45 ml wody i 1,14 grama CO2. Mimo to, przy skali miliardów zapytań dziennie na całym świecie, sumaryczne zużycie pozostaje istotnym wyzwaniem dla branży. Mistral wskazuje, że rozwiązaniem jest stosowanie mniejszych, wyspecjalizowanych modeli, które są bardziej efektywne energetycznie dla konkretnych zadań. Optymalizację przynosi również inteligentne grupowanie (batching) zapytań do AI.

Publikując te dane, Mistral rzuca wyzwanie całej branży i wzywa do przyjęcia wspólnych, międzynarodowych standardów raportowania śladu ekologicznego. Apel koncentruje się na trzech kluczowych obszarach: transparentnym przedstawianiu kosztów treningu modelu, wpływu procesu wnioskowania oraz analizie zależności między nimi w całym cyklu życia produktu. To strategiczne posunięcie ma na celu umożliwienie firmom i rządom podejmowania świadomych decyzji przy wyborze technologii AI w przyszłości.