복습용 블로그

Prompt Tuning은 아래 논문에서 소개된 내용입니다. https://arxiv.org/pdf/2104.08691.pdf Prefix Tuning과 유사한 방식으로, 각 task 별로 기존 LLM 의 일부를 fine tuning 하여 학습한다는 내용입니다. Prompt Tuning에 대한 huggingface 튜토리얼은 아래와 같습니다. https://huggingface.co/docs/peft/main/en/task_guides/clm-prompt-tuning Prompt tuning for causal language modeling 🤗 Accelerate integrations huggingface.co 해당 내용을 바탕으로 RAFT의 twitter_complaints 데이터셋에 대해 해당 트..

P-Tuning은 아래 논문에서 처음 소개되었습니다. https://arxiv.org/pdf/2103.10385.pdf 논문 제목이 GPT Understands, too 인데 그 이유는 GPT 모델의 경우, 논문이 나온 당시 GPT 모델은 NLI (Natural Language Inference), AE (Aspect Extraction) 등 텍스트 간의 추론에서 성능이 모자랐었지만, 이는 해당 모델이 이해하도록 prompt를 구성하는 것이 어렵기 때문입니다. 따라서 P-Tuning은 prompt를 GPT가 이해하기 쉽게 Tuning 한다는 의미를 갖습니다. 논문에 나온 해당 그림처럼 Prompt Encoder 부분을 이용해 GPT가 더욱 prompt를 잘 이해하도록 입력 자체를 변환시키겠다는 것이 해당..

Prefix Tuning은 LLM의 전체 파라미터를 조정하는 것이 아닌, 파라미터 중 prefix 부분만 fine tuning 시키는 기법입니다. LoRA는 LLM에 별도 학습된 레이어를 추가적으로 구축 후, 기존 LLM에 합치는 것이라면, Prefix Tuning은 기존 LLM 자체를 활용해 일부만 파라미터를 수정합니다. Prefix Tuning에 대한 논문은 아래와 같습니다. https://arxiv.org/pdf/2101.00190.pdf 해당 논문에 나온 그림처럼, 기존 Transformer 모델은 그대로 두고, prefix 부분만 수정을 진행하여 특정 도메인에 더욱 특화된 fine tuning을 진행하는 것이 목표입니다. huggingface 튜토리얼을 바탕으로 sentences_allagree..

LoRA (Low Rank Adaption for Large Language Model) 는 아래 논문에서 처음 발표되었습니다. https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model paramete..

PEFT는 huggingface에서 작업 중인 Parameter-Efficient Fine-Tuning, 즉 효율적인 파라미터 파인 튜닝입니다. Fine Tuning이란, 대부분의 일반 사용자, 개발자 입장에서 llama, gpt 같은 대규모 LLM 자체를 만드는 것은 사실상 불가능하기 때문에, 기존 LLM의 파라미터를 내가 원하는 분야에 특화되도록 파라미터 튜닝을 하는 것을 의미합니다. PEFT는 이러한 Fine Tuning을 좀 더 쉽게 할 수 있도록 huggingface에서 제공해주는 라이브러리입니다. 주요 document는 아래에서 확인 가능하며, https://huggingface.co/docs/peft/index PEFT 🤗 Accelerate integrations huggingface.co..