Wyniki badań wskazują, że modele AI można skutecznie destylować z relatywnie niewielkiego zbioru danych, stosując podejście nazwane nadzorowanym dostrajaniem (SFT – Supervised Fine-Tuning). Jest to metoda polegająca na dokładnym instruowaniu modelu, jak powinien naśladować określone wzorce zachowań w danych. SFT okazuje się być tańsze niż szeroko stosowane metody uczenia przez wzmocnienie na dużą skalę, jakie stosowali konkurenci z DeepSeek, aby trenować model R1.
Badacze stojący za s1 postawili sobie za cel znalezienie najprostszej metody osiągnięcia wysokiej jakości wnioskowania przez AI. Kluczowym aspektem było „test-time scaling”, czyli zwiększenie zdolności modelu do głębszego analizowania problemów przed udzieleniem odpowiedzi. Były to także elementy kluczowe dla modelu o1 od OpenAI, który inne firmy – w tym DeepSeek – próbują odtworzyć różnymi metodami.
Fakt, że mały zespół badaczy jest w stanie stworzyć zaawansowany model AI niewielkim kosztem, budzi wielkie zainteresowanie, ale i obawy. Pojawia się pytanie, czy modele AI nie staną się wkrótce zwykłym towarem dostępnym dla każdego. Jeśli można skopiować technologię wartą miliony dolarów za ułamek tej sumy, to gdzie jest przewaga rynkowa gigantów zajmujących się sztuczną inteligencją?
Cały proces trenowania trwał mniej niż 30 minut i został przeprowadzony przy użyciu 16 procesorów graficznych Nvidia H100. Według naukowca ze Stanfordu, Niklasa Muennighoffa, obecnie można wynająć potrzebną moc obliczeniową do tego celu za około 20 dolarów, co pokazuje, jak niskie są koszty powielania podobnych technologii.
Tymczasem w 2025 roku korporacje takie jak Meta, Google i Microsoft planują przeznaczyć setki miliardów dolarów na rozwój infrastruktury AI. Część tych środków będzie przeznaczona na szkolenie nowej generacji modeli sztucznej inteligencji. Mimo że destylacja okazuje się skutecznym rozwiązaniem dla replikowania istniejących technologii, to wciąż nie jest metodą na stworzenie zupełnie nowych modeli o znacznie większych możliwościach niż obecne.
Ciekawostką jest fakt, że Google udostępnia Gemini 2.0 Flash Thinking Experimental za darmo poprzez swoją platformę Google AI Studio, choć obowiązują pewne dzienne limity. Co ważne, regulamin zabrania inżynierii odwrotnej modelu w celu stworzenia konkurencyjnych rozwiązań. Obecnie nie wiadomo, jak Google odnosi się do wykorzystania jego modelu w pracach nad s1.
Model s1 został oparty na niewielkim, gotowym modelu AI pochodzącym z chińskiego laboratorium Qwen, należącego do firmy Alibaba. Ten model jest dostępny do pobrania za darmo. Do treningu s1 badacze opracowali zbiór jedynie 1000 starannie dobranych pytań wraz z odpowiedziami i szczegółowym procesem myślowym każdego kroku, bazując na wynikach z Gemini 2.0 Flash Thinking Experimental.
Interesującym detalem w podejściu do trenowania s1 było zastosowanie triku polegającego na „opóźnianiu” odpowiedzi modelu. Wystarczyło dodanie słowa „czekaj” w trakcie procesu wnioskowania, by model pracował dłużej nad analizą problemu, co skutkowało dokładniejszymi odpowiedziami.
Badacze sztucznej inteligencji ze Stanford i Uniwersytetu Waszyngtońskiego udowodnili, że można stworzyć zaawansowany model AI do wnioskowania za mniej niż 50 dolarów, wykorzystując chmurowe zasoby obliczeniowe. Ich model, nazwany s1, osiąga wyniki porównywalne z najnowszymi rozwiązaniami, takimi jak o1 od OpenAI oraz R1 od DeepSeek, w testach matematycznych i programistycznych. Co więcej, s1 jest dostępny na GitHubie, razem z kodem oraz danymi użytymi do jego trenowania, co czyni go jednym z bardziej otwartych projektów w tej dziedzinie.
Zespół badaczy rozpoczął pracę nad s1 od gotowego modelu bazowego, który następnie został dostrojony dzięki metodzie zwanej destylacją. Polega ona na „wydobywaniu” zdolności do wnioskowania z innego modelu AI poprzez trenowanie go na odpowiedziach generowanych przez ten drugi model. W szczególności s1 został zdestylowany z jednego z narzędzi opracowanych przez Google – Gemini 2.0 Flash Thinking Experimental. Podobną metodologię zastosowano niedawno na Uniwersytecie Berkeley, gdzie stworzono model AI do wnioskowania za około 450 dolarów.
Nie dziwi więc, że duże laboratoria AI, takie jak OpenAI, nie są zadowolone z tej sytuacji. Niedawno oskarżyły firmę DeepSeek o nieuprawnione gromadzenie danych pochodzących z ich API w celu przeprowadzania destylacji modeli. To dowodzi rosnącego napięcia w branży, w której technologie szybko się rozwijają, a równocześnie stają się coraz łatwiej dostępne.
