Jak zaimportować wstępnie wytrenowany model w PyTorch?

Jak Zaimportowac Wstepnie Wytrenowany Model W Pytorch



Modele uczenia maszynowego w PyTorch mogą być niezwykle złożone i szczegółowe z milionami wierszy i terabajtami danych. Im większy i bardziej zróżnicowany zbiór danych używany w szkoleniu, tym lepsze wnioski wyciągane z modelu. Możliwość wykorzystania wcześniej wyszkolonych modeli do wyciągania wniosków z nowych danych jest niezwykle istotna, ponieważ pozwala to zaoszczędzić zasoby i korzystać z tych samych skrupulatnie opracowanych modeli.

W tym blogu omówimy dwie metody importowania wstępnie wytrenowanego modelu w PyTorch.

Jak zaimportować wstępnie wytrenowany model w PyTorch za pomocą Torchvision?

widzenie pochodni ” można wykorzystać do importowania wstępnie wytrenowanych modeli w PyTorch. Jest to pododdział podstawowego „ latarka ” i zawiera funkcjonalność wcześniej skompilowanych zbiorów danych i wytrenowanych modeli. Ta biblioteka zapewnia użytkownikom możliwość wywoływania modeli, które zostały przeszkolone na dużym zestawie danych. Te wstępnie wytrenowane modele można zastosować do nowych danych i zapewnić prawidłowe wnioski bez konieczności tworzenia długich i niemożliwych do zarządzania pętli szkoleniowych.







Wykonaj kroki podane poniżej, aby dowiedzieć się, jak zaimportować wstępnie wytrenowany model do PyTorch za pomocą Torchvision:



Krok 1: Otwórz Google Colab
Idź do Spółdzielni strona internetowa utworzone przez Google i rozpocząć „ Nowy notatnik ”, aby rozpocząć projekt:







Krok 2: Zaimportuj niezbędne biblioteki
Po skonfigurowaniu Colab IDE pierwszym krokiem jest instalacja i zaimportowanie bibliotek potrzebnych w projekcie:

! pip zainstaluj latarkę

import latarka
import widzenie pochodni
import widzenie pochodni. modele

Powyższy kod działa w następujący sposób:



  • pypeć ” instalator pakietu dla Pythona służy do instalowania pakietu „ latarka ' biblioteka.
  • Następnie „ import ” służy do importowania biblioteki do projektu Colab.
  • A później ' widzenie pochodni ” zostanie zaimportowana do projektu. Zawiera funkcje dotyczące zestawów danych i modeli.
  • model.torchvision ” moduł zawiera asortyment wstępnie wytrenowanych modeli, takich jak modele resztkowej sieci neuronowej „ ResNet ”:

Krok 3: Importuj wstępnie wyszkolony model
Zaimportuj wstępnie wytrenowany model zapisany w pakiecie „torchvision.models”, używając poniższego wiersza kodu:

Pre_Trained_Model = widzenie pochodni. modele . poważny50 ( wstępnie przeszkolony = PRAWDA )

Powyższa linia kodu działa w następujący sposób:

  • Zdefiniuj zmienną i nadaj jej odpowiednią nazwę, np „Wstępnie przeszkolony_model” .
  • Użyj „torchvision.models” moduł, aby dodać „ ResNet ' Model.
  • Dodaj ' poważny50 ” i ustaw „ wstępnie przeszkolony = Prawda ” jako argument:

Następnie wyświetl wstępnie wytrenowany model jako wynik, używając metody „print()”:

wydrukować ( Pre_Trained_Model )

Notatka : Możesz uzyskać dostęp do naszego notatnika Colab, w którym szczegółowo opisano import wstępnie wytrenowanego modelu PyTorch za pomocą torchvision tutaj połączyć .

Jak zaimportować wstępnie wytrenowany model PyTorch z bazy danych Hugging Face?

Inną metodą importu wstępnie wytrenowanego modelu jest pozyskanie go z platformy Hugging Face. Hugging Face to jedna z najpopularniejszych internetowych baz danych zawierająca wstępnie wytrenowane modele i duże zbiory danych dostępne dla analityków danych i programistów.

Wykonaj poniższe czynności, aby zaimportować wstępnie wytrenowany model PyTorch ze zbioru danych Hugging Face:

Krok 1: Uruchom notatnik Colab oraz zainstaluj i zaimportuj wymagane biblioteki
Pierwszym krokiem jest uruchomienie notatnika w Colab IDE i zainstalowanie bibliotek za pomocą „ pypeć ” instalatora pakietów i zaimportuj je za pomocą „ import ' Komenda:

! pip zainstaluj latarkę
! pip zainstaluj transformatory

import latarka
import transformatory
z transformatorów import AutoModel

W tym projekcie potrzebne są następujące biblioteki

  • latarka ” jest podstawową biblioteką PyTorch.
  • transformatory ” zawiera funkcjonalność Hugging Face, jej modele i zbiory danych:

Krok 2: Zaimportuj model z Hugging Face
W tym przykładzie model, który ma zostać zaimportowany z „ Przytulanie Twarzy ” baza danych jest dostępna pod tym adresem połączyć . Użyj ' AutoModel.from_pretrained() ”, aby zaimportować wstępnie wytrenowany model z Hugging Face, jak pokazano poniżej:

nazwa_modelu_przeszkolonego = „Helsinki-NLP/opus-mt-en-zh”
model_pre_trenowany = AutoModel. od_wstępnie przeszkolonego ( nazwa_modelu_przeszkolonego )

wydrukować ( model_pre_trenowany )

Powyższy kod działa w następujący sposób:

  • Skopiuj nazwę modelu z jej strony internetowej na platformie Hugging Face i przypisz ją do „ nazwa_modelu_przeszkolonego ” zmienna w Colab.
  • Następnie skorzystaj z opcji „ AutoModel.from_pretrained() ” i jako argument wprowadź zmienną nazwy modelu.
  • Na koniec skorzystaj z 'wydrukować() ”, aby zaprezentować zaimportowany model w wynikach.

Wstępnie wytrenowany model zaimportowany z Hugging Face wyświetli poniższe dane wyjściowe:

Notatka : Możesz uzyskać dostęp do naszego notatnika Colab, w którym szczegółowo opisano, jak zaimportować wstępnie wytrenowany model z Hugging Face połączyć .

Wskazówka profesjonalna

Hugging Face to cenny zbiór dużych zbiorów danych i złożonych modeli, z których każdy może bezpłatnie korzystać w projektach głębokiego uczenia się. Możesz także przesyłać własne zbiory danych, aby inni mogli z nich korzystać, a platforma jest dostosowana do współpracy między badaczami danych i programistami na całym świecie.

Powodzenie! Pokazaliśmy jak zaimportować wstępnie wytrenowany model PyTorch korzystając z biblioteki torchvision lub z bazy Hugging Face korzystając z biblioteki transformatorów.

Wniosek

Aby zaimportować wstępnie wytrenowany model do PyTorch, użytkownicy mogą skorzystać z biblioteki torchvision lub z internetowej bazy danych Hugging Face, korzystając z biblioteki transformatorów w Google Colab. Te wstępnie wytrenowane modele pozwalają uniknąć marnowania cennego czasu i zasobów sprzętowych na szkolenie i bezpośrednio służą do testowania nowych danych w celu uzyskania wiarygodnych wniosków. Na tym blogu pokazaliśmy dwie metody importowania wstępnie wytrenowanych modeli w PyTorch.