GPT – oznacza „Generative Pre-training Transformer”, to model języka oparty na architekturze transformatora, który wykorzystuje techniki uczenia nienadzorowanego do wstępnego trenowania modelu na dużym korpusie tekstu. Po tym procesie wstępnego trenowania, model może być dostosowywany do konkretnych zadań związanych z przetwarzaniem języka naturalnego (NLP) za pomocą technik uczenia nadzorowanego, procesu znanego jako „fine-tuning”.

GPT wykorzystuje architekturę transformatora, ale tylko jej dekoder, znaną jako „transformator jednokierunkowy”, ze względu na jej zdolność do generowania sekwencji. W przeciwieństwie do tradycyjnych modeli języka, które przewidują następne słowo w sekwencji na podstawie poprzednich słów, GPT jest w stanie uwzględniać cały kontekst wejściowy przy generowaniu każdego nowego słowa.

GPT jest znane z generowania tekstów o wysokiej jakości, które są spójne i zrozumiałe, a także zdolne do wykonywania zadań wymagających zrozumienia kontekstu, takich jak odpowiadanie na pytania, tłumaczenie języków i pisanie esejów.