Fine-tuning w środowisku ograniczonych zasobów sprzętowych

W pierwszej połowie 2023 obserwujemy ogromny boom na modele językowe i ich praktyczne zastosowania. ChatGPt rozbudził apetyty na choćby częściowe powtórzenie jego sukcesu i wiele zespołów opublikowało wyniki swoich prac. Duża część nowych modeli została udostępniona w ramach licencji Apache 2.0, która umożliwia ich dowolną modyfikację i użycie, a nawet komercjalizację. Jest to fantastyczny ruch, …

Czytaj dalej

PyTorch: podział zbioru, transformacje, uczenie na GPU oraz wizualizacja metryki

Dziś taki lekki misz-masz. W uczeniu maszynowym określenie struktury modelu i trening sieci neuronowej to stosunkowo niewielkie elementy dłuższego łańcucha czynności, który rozpoczyna się od załadowania zbioru danych, jego podziału na podzbiory uczący, walidacyjny oraz testowy i odpowiedniego serwowania danych do modelu. Po drodze pojawiają się również takie kwestie jak transformacja danych, uczenie na GPU …

Czytaj dalej