Introduction
เรียนทั้ง Bert , GPT3 , GPT 4 , LLma2
1. Transformers in NLP
What are large language models
ทั้ง GPT 3, chatGPT มันก็คือ LLM ,
understand , produce – Human-like text
2017 Google ทำ “Transformer”
text input(promt) -> LLM ->text output
ลองให้ summerized ใน open AI
How are LLM trained ? Pre-training 0.53/4.24
Language model with random weights – อันนี้ถูก trainingด้วย datasets จาก books , articles , website -> pre-trained model
Pre-training Data for LLaMA(meta) เป็นgroup of language models 2023 โดย meta
เช่นจาก data set
common crawl , c4 – เป็น clean , filtered
github ,