Jak korzystać z bufora tokenów konwersacji w LangChain?

LangChain umożliwia programistom budowanie modeli przy użyciu uczenia maszynowego lub głębokiego uczenia się, które mogą uczyć modele przy użyciu zbiorów danych. Modele te mogą uzyskać różne wzorce z danych lub zrozumieć formę zbioru danych i jego język w celu wyodrębnienia informacji. Duże modele językowe lub LLM można konfigurować lub projektować przy użyciu frameworków LangChain, które potrafią rozumieć i generować tekst w językach naturalnych.

Ten przewodnik ilustruje proces korzystania z bufora tokenów konwersacji w LangChain.

Jak korzystać z bufora tokenów konwersacji w LangChain?

The Pamięć tokenu konwersacji bibliotekę można zaimportować ze środowiska LangChain w celu przechowywania najnowszych wiadomości w pamięci buforowej. Tokeny można skonfigurować tak, aby ograniczały liczbę wiadomości przechowywanych w buforze, a wcześniejsze wiadomości zostaną automatycznie opróżnione.

Aby poznać proces korzystania z bufora tokenów konwersacji w LangChain, skorzystaj z poniższego przewodnika:

Krok 1: Zainstaluj moduły

Najpierw zainstaluj framework LangChain zawierający wszystkie wymagane moduły za pomocą polecenia pip:

pip zainstaluj langchain

Teraz zainstaluj moduł OpenAI, aby zbudować LLM i łańcuchy za pomocą metody OpenAI():

pip zainstaluj openai

Po zainstalowaniu modułów wystarczy użyć klucza API OpenAI, aby skonfiguruj środowisko używając bibliotek os i getpass:

import Ty

import przejść dalej

Ty . około [ „OPENAI_API_KEY” ] = przejść dalej . przejść dalej ( „Klucz API OpenAI:” )

Krok 2: Korzystanie z pamięci buforowej tokenów konwersacji

Zbuduj LLM przy użyciu metody OpenAI() po zaimportowaniu pliku Pamięć tokenu konwersacji.Buffer biblioteka z frameworka LangChain:

z łańcuch językowy. pamięć import Pamięć tokenu konwersacji.Buffer

z łańcuch językowy. llms import OpenAI

llm = OpenAI ( )

Skonfiguruj pamięć, aby ustawić token, opróżnia stare wiadomości i przechowuje je w pamięci buforowej. Następnie zapisz wiadomości z rozmowy i pobierz najnowsze, aby użyć ich jako kontekstu:

pamięć = Pamięć tokenu konwersacji.Buffer ( llm = llm , max_token_limit = 10 )

pamięć. zapisz_kontekst ( { 'wejście' : 'Witam' } , { 'wyjście' : 'Jak się masz' } )

pamięć. zapisz_kontekst ( { 'wejście' : 'U mnie w porządku, a co u ciebie' } , { 'wyjście' : 'niewiele' } )

Wykonaj pamięć, aby pobrać dane przechowywane w pamięci buforowej, używając metody Load_memory_variables():

pamięć. zmienne_pamięci_ładowania ( { } )

Krok 3: Używanie pamięci buforowej tokenu konwersacji w łańcuchu

Zbuduj łańcuchy, konfigurując Łańcuch Rozmów() metoda z wieloma argumentami, aby użyć pamięci bufora tokenów konwersacji:

z łańcuch językowy. więzy import Łańcuch Rozmów

rozmowa_z_podsumowaniem = Łańcuch Rozmów (
llm = llm ,
pamięć = Pamięć tokenu konwersacji.Buffer ( llm = OpenAI ( ) , max_token_limit = 60 ) ,
gadatliwy = PRAWDA ,
)
rozmowa_z_podsumowaniem. przewidywać ( wejście = 'Cześć co tam?' )

Teraz rozpocznij rozmowę, zadając pytania, korzystając z podpowiedzi napisanych w języku naturalnym:

rozmowa_z_podsumowaniem. przewidywać ( wejście = „Tylko pracuję nad projektem NLP” )

Uzyskaj dane wyjściowe z danych przechowywanych w pamięci buforowej, używając liczby tokenów:

rozmowa_z_podsumowaniem. przewidywać ( wejście = „Pracuję tylko nad projektowaniem LLM” )

Bufor jest aktualizowany przy każdym nowym wejściu, ponieważ poprzednie komunikaty są regularnie opróżniane:

rozmowa_z_podsumowaniem. przewidywać (

wejście = „LLM korzysta z LangChain! Czy słyszałeś o tym”

)

Chodzi o wykorzystanie bufora tokenów konwersacji w LangChain.

Wniosek

Aby skorzystać z bufora tokenów konwersacji w LangChain wystarczy zainstalować moduły umożliwiające skonfigurowanie środowiska za pomocą klucza API z konta OpenAI. Następnie zaimportuj bibliotekę ConversationTokenBufferMemory za pomocą modułu LangChain, aby zapisać rozmowę w buforze. Pamięć buforową można wykorzystać w łańcuchu do opróżniania starszych wiadomości przy każdej nowej wiadomości na czacie. W tym poście szczegółowo omówiono wykorzystanie pamięci bufora tokenów konwersacji w LangChain.

Jak korzystać z bufora tokenów konwersacji w LangChain?