Meta udostępnia kolejny model AI. Tym razem skupi się on na programowaniu

Meta, mając na celu zrobienie wrażenia w przestrzeni generatywnej sztucznej inteligencji pełnej konkurencji, jest obecnie zaangażowana w rozwijanie projektów open source. Tym razem udostępniła model, który może stanowić alternatywę dla CoPilota.

Po wydaniu modeli sztucznej inteligencji do generowania tekstu, tłumaczenia języków i tworzenia dźwięków, Meta udostępniła kod źródłowy systemu Code Llama, który wykorzystuje uczenie maszynowe do generowania i wyjaśniania kodu w języku naturalnym, konkretnie w języku angielskim.

Podobnie jak GitHub Copilot i Amazon CodeWhisperer, a także otwarte generatory kodu zasilane sztuczną inteligencją, takie jak StarCoder, StableCode i PolyCoder, Code Llama potrafi uzupełniać kod oraz debugować istniejący kod we wielu językach programowania, w tym w Pythonie, C++, Javie, PHP, TypeScript, C# i Bash.

Uważamy, że modele sztucznej inteligencji, a zwłaszcza duże modele językowe do programowania, najbardziej korzystają z otwartego podejścia, zarówno pod względem innowacji, jak i bezpieczeństwa. Publicznie dostępne modele skoncentrowane na językach programowania mogą ułatwić rozwijanie nowych technologii poprawiających życie ludzi. Udostępniając modele, takie jak Code Llama, cała społeczność może ocenić ich zdolności, zidentyfikować problemy i naprawić podatności.

- napisała Meta uzasadniając udostępnienie modelu w trybie open source.

Code Llama, dostępna w kilku wariantach, w tym zoptymalizowana pod Pythona i dostosowana do rozumienia instrukcji (np. "Napisz mi funkcję generującą ciąg liczb Fibonacciego"), opiera się na modelu generującym tekst Llama 2, który Meta udostępniła jako open source wcześniej w tym miesiącu. Podczas gdy Llama 2 mogła generować kod, nie zawsze był on dobry, a z pewnością jakością ustępował temu, co mógł zaoferować Copilot.

Podczas szkolenia Code Llama, Meta użyła tego samego zbioru danych, który wykorzystała do szkolenia Llama 2 - mieszanki źródeł publicznie dostępnych z całego internetu. Ale model "skupił się" na podzbiorze danych treningowych zawierających kod. W zasadzie Code Llama miała więcej czasu na naukę relacji między kodem a językiem naturalnym niż Llama 2, który jest jej modelem "nadrzędnym".

Każdy z modeli Code Llama, różniący się liczbą parametrów od 7 miliardów do 34 miliardów, był trenowany na 500 miliardach tokenów kodu wraz z danymi związanymi z kodem. Wariant Code Llama dedykowany dla Pythona został dodatkowo dostrojony na podstawie 100 miliardów tokenów kodu Pythona, a podobnie model Code Llama z umiejętnością rozumienia instrukcji był doskonalony za pomocą opinii od ludzkich anotatorów w celu generowania "pomocnych" i "bezpiecznych" odpowiedzi na pytania.

Pobierz ebook "Ranking Agencji Marketingowych 2025 roku i ebook z poradami o promocji w sieci"