Швейцарія представила відкриті мовні моделі, потужніші за ChatGPT

Швейцарські дослідники запустили дві великі мовні моделі (LLM), які за потужністю перевершують ChatGPT і доступні для вільного використання. Моделі були створені на базі одного з найпотужніших суперкомп’ютерів у світі — Alps, який посідає 3‑тє місце в Європі та 8‑ме у світовому рейтингу.

Моделі мають 8 та 70 мільярдів параметрів, натреновані на 15 трильйонах токенів з акцентом на багатомовність (40 % — неангломовні тексти понад 1000 мов).

Тренування виконано на суперкомп’ютері Alps із понад 10 000 чипів Nvidia Grace-Hopper GH200, що забезпечує до 42 ексафлопс продуктивності.

Розробка є повністю відкритою — опубліковані код, архітектура, ваги та навчальні дані.

Моделі будуть доступні вже цього літа під відкритою ліцензією Apache 2.0.

Ця ініціатива спрямована на розвиток незалежних ШІ-рішень у Європі та забезпечення прозорості в цій сфері.