GPT
GPT 버트는 임베딩 모델이다. gpt는 생성 모델이다. 버트는 인코더를 사용한다. gpt는 디코더를 사용한다. 단어가 나왔을 때 다음 단어가 어떤 단어가 나오는 것이 가장 적절할까? Aauto regressive 모델이다. 버트 보다 먼저 나왔음. 자연어 문장...
Recent Posts
2021-huggingface-trainer-resume-wandb
huggingface의 trainer api을 쓰면서 wandb을 쓸때.
1006-BERT-model-size
버트 모델 크기는 512이다. 이것보다 긴 문장이 들어가면?
1005-Implementing-NLP-tokenizer
Implementing Tokenizer
Maximum-weighted-liklihood-estimation
Maximum-weighted-liklihood-estimation review