Duże modele językowe, takie jak ten obsługujący ChatGPT, mogą generować tysiące słów w ciągu jednej minuty. Podobnie potrafią szybko zrozumieć długie dane wejściowe. Może się to wydawać magią, ale w przeciwieństwie do ludzi chatbot nie przetwarza tekstu jako pojedynczych zdań ani nawet słów. Zamiast tego ChatGPT używa tokenów do dekodowania i wysyłania języków ludzkich, takich jak angielski, hiszpański i inne. Zatem w tym artykule odpowiemy na podstawy, a mianowicie, jak działają tokeny ChatGPT, dlaczego są potrzebne i jak wpływają na Twoje wrażenia z czatu.
Czym są tokeny ChatGPT? Okno kontekstowe wyjaśnione
Calvin Wankhede / Android AuthorityTokens reprezentują podstawowe elementy składowe każdej odpowiedzi tekstowej ChatGPT. Chociaż zwykle grupujemy tekst na podstawie liczby słów, model języka GPT nie działa w ten sam sposób. Zamiast tego szuka przewidywalnych kombinacji liter i grupuje je razem, tworząc token. Tokeny ChatGPT mogą wydawać się abstrakcyjną koncepcją, więc zobaczmy, jak to działa na przykładzie. Słowo „powietrze” jest słowem często używanym w języku potocznym. Model prawdopodobnie natknął się na niego kilka razy podczas skanowania danych treningowych. Obydwa te czynniki oznaczają, że „powietrze” tworzy pojedynczy żeton. Pojedyncze angielskie słowo może zająć od 1 do 3 żetonów. Jeśli jednak weźmiesz dłuższe i stosunkowo mniej popularne słowo, takie jak „linia lotnicza”, przekonasz się, że model języka traktuje „powietrze” i „linia” jako dwa niezależne tokeny. Tokeny nie mają znaczenia dla większości użytkowników chatbota, ale odgrywają rolę w określaniu limitu znaków ChatGPT. Co więcej, model języka ma również ograniczenie liczby tokenów, które może przechowywać w pamięci. Jeśli więc powiesz ChatGPT fakt na początku rozmowy, w końcu zapomni o tym po przetworzeniu kilku tysięcy tokenów. Nazywa się to „oknem kontekstowym” modelu języka.
Jak liczyć tokeny w ChatGPT?
Powszechnie używane słowa w słowniku języka angielskiego częściej odpowiadają pojedynczemu tokenowi. Jednak złożone słowa nie są traktowane w ten sam sposób i mogą w rzeczywistości składać się z kilku tokenów jednocześnie. Oto krótka tabela ilustrująca, jak policzyć liczbę tokenów dla danego fragmentu tekstu: Liczba tokenówPrzykładySłowa o długości mniejszej niż cztery znaki
Liczba żetonów1
PrzykładyPowietrze, trzecie, to, tekst
Dłuższe lub mniej popularne słowa
Liczba żetonów od 1 do 3
PrzykładyZamieszanie, linia lotnicza, zrozum
Interpunkcja i cyfry
Liczba żetonów1
Przykłady. ,! / 3 9
Przestrzeń
Liczba żetonów1
PrzykładyEmoji
Liczba żetonów od 1 do 3
Przykłady🖼️
Chociaż powyższa tabela służy jako przybliżona wytyczna, nie zawsze można przewidzieć, ile tokenów będzie zawierać dane słowo lub fraza. Weźmy na przykład liczby. Typowe grupy, takie jak „123” i „333”, będą odpowiadać tylko jednemu tokenowi. Jednak dłuższe sekwencje liczb zostaną podzielone na wiele tokenów. Z reguły twórca ChatGPT, OpenAI, twierdzi, że 100 tokenów będzie w przybliżeniu równe 75 słowom. Jednak ta korelacja między długością słowa a liczbą tokenów dotyczy tylko słów angielskich. Słowa w językach obcych, zwłaszcza tych mniej powszechnych, będą zajmować więcej tokenów. Na przykład 17 znaków w wietnamskim tekście „Bãi đậu xe ở đâu?” odpowiada zdumiewającej 13 tokenom. Jeśli chcesz sprawdzić, ile tokenów znajduje się w konkretnym fragmencie tekstu, sprawdź darmowe narzędzie OpenAI Tokenizer. Podświetla różne tokeny w danym fragmencie tekstu.
Jaki jest limit tokenów w ChatGPT?
Edgar Cervantes / Android AuthorityLimit tokenów w ChatGPT zależy od używanego modelu oraz od tego, czy korzystasz z chatbota, czy też współdziałasz z modelem programowo. To drugie ma zastosowanie tylko wtedy, gdy jesteś programistą i wdrażasz model GPT we własnej aplikacji. Jeśli jesteś tego rodzaju użytkownikiem API, spodziewaj się limitu tokenów w zakresie od 4096 do 128 000. Nowsze modele, takie jak GPT-4 Turbo, mają wyższe limity, ale ich użycie będzie również droższe. Jeśli nie jesteś programistą, będziesz po prostu komunikować się z chatbotem za pośrednictwem strony internetowej lub aplikacji. W tym przypadku wielu użytkowników zgłosiło, że limit tokenów ChatGPT jest ustalony na 4096. Jednak OpenAI nie podało publicznie rzeczywistego limitu, więc może on ulec zmianie bez powiadomienia. Limit tokenów nie ulega zmianie, nawet jeśli płacisz za ChatGPT Plus, który zapewnia dostęp do najnowszego modelu językowego GPT-4.
Ile wart jest token ChatGPT?
Podobnie jak w przypadku limitu, koszt tokena ChatGPT zależy od wybranego modelu. Jak można się spodziewać, najnowsze modele kosztują znacznie więcej niż GPT-3.5 ostatniej generacji, który został wydany pod koniec 2022 roku. Podobnie OpenAI często publikuje drobne aktualizacje modeli językowych, które zmniejszają koszty obliczeniowe, a co za tym idzie, cenę każdego tokena wygenerowane. Pomijając to zastrzeżenie, oto, ile będziesz musiał zapłacić za tokeny ChatGPT w zależności od modelu:
GPT-3.5 Turbo: Jako najstarszy nadal używany model darmowej wersji ChatGPT, jest to jedna z tańszych opcji. Programiści płacą 0,0010 USD za 1000 tokenów wejściowych i 0,0020 USD za 1000 tokenów wyjściowych.
GPT-4: wydany na początku 2023 r., wkrótce po ChatGPT, model językowy GPT-4 zapewnia odpowiedzi wyższej jakości. Jest również dostępny w dwóch odmianach, jedna z limitem 8096 tokenów i druga z limitem 32 000. Ten pierwszy kosztuje 0,03 dolara za 1000 żetonów wejściowych i 0,06 dolara za 1000 tokenów wyjściowych.
GPT-4 Turbo: Mimo że jest to najnowszy model językowy, GPT-4 Turbo ma być znacznie bardziej wydajny obliczeniowo niż GPT-4. Dlatego kosztuje 0,01 USD za 1000 tokenów wejściowych i 0,03 USD za 1000 tokenów wyjściowych. To wciąż o rząd wielkości więcej niż GPT-3.5 Turbo, ale ulepszone możliwości logiczne mogą sprawić, że dla niektórych będzie to opłacalne.
Jak kupić tokeny ChatGPT? Wyjaśniono plac zabaw OpenAI
Edgar Cervantes / Android AuthorityJeśli jesteś użytkownikiem ChatGPT, nie musisz zajmować się tokenami. Jednak programiści i osoby chcące eksperymentować mogą również bezpośrednio wchodzić w interakcję z podstawowym modelem języka. OpenAI Playground oferuje podobny interfejs do ChatGPT, ale nie można go używać za darmo. Każda wiadomość, którą wyślesz i odbierzesz, zostanie obciążona Twoją metodą płatności, zgodnie z kosztami opisanymi w poprzedniej sekcji. Może to być kosztowne, ale obecnie jest to jedyny sposób na interakcję z pełnoprawnym modelem językowym bez arbitralnych limitów tokenów.
Często zadawane pytania
Ile tekstu to 1000 tokenów w ChatGPT? Według OpenAI 1000 tokenów odpowiada mniej więcej 750 słowom tekstu. Liczba ta może się jednak zmieniać w zależności od złożoności języka i tekstu. Czy ChatGPT ma limit na godzinę? Tak, ChatGPT ma limit liczby wiadomości na godzinę, zwany limitem szybkości. Dokładny limit na godzinę jest powiązany z zapotrzebowaniem. Użytkownicy płacący za pomocą ChatGPT Plus mają wyższe limity zarówno dla modeli GPT-3.5, jak i GPT-4. Ile kosztuje interfejs API ChatGPT? Koszt interfejsu API ChatGPT jest zróżnicowany i waha się od 0,0020 USD do 0,06 USD za 1000 tokenów wyjściowych. Ostatecznie zależy to od wybranego modelu językowego. GPT-4 kosztuje znacznie więcej niż GPT-3.5. Uwagi