PEFT

PEFT는 huggingface에서 작업 중인 Parameter-Efficient Fine-Tuning, 즉 효율적인 파라미터 파인 튜닝입니다. 

 

Fine Tuning이란, 대부분의 일반 사용자, 개발자 입장에서 llama, gpt 같은 대규모 LLM 자체를 만드는 것은 사실상 불가능하기 때문에, 기존 LLM의 파라미터를 내가 원하는 분야에 특화되도록 파라미터 튜닝을 하는 것을 의미합니다.

 

PEFT는 이러한 Fine Tuning을 좀 더 쉽게 할 수 있도록 huggingface에서 제공해주는 라이브러리입니다.

 

주요 document는 아래에서 확인 가능하며,

https://huggingface.co/docs/peft/index

PEFT

 

소스코드 내용은 아래 github에서 확인 가능합니다.

https://github.com/huggingface/peft

GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.

 

본인도 딥러닝, LLM을 이용해 개발적인 관점에서 사용은 가능하지만, 그 기술 자체에 전문 지식이 있는 것이 아니다 보니 개발 시 필요한 내용(어떤 fine-tuning 기법을 어떤 상황에서 써야 하는가)을 중점으로 정리를 하고자 합니다.

 

참고했던 강의와 자료는 다음과 같습니다.

 

Udemy 강의 : 

https://www.udemy.com/course/llm-part-1-llama-2-fine-tuning/

 

LoRA 튜토리얼 : 

https://huggingface.co/docs/peft/main/en/task_guides/token-classification-lora

LoRA for token classification

 

Prefix-Tuning 튜토리얼 : 

https://huggingface.co/docs/peft/main/en/task_guides/seq2seq-prefix-tuning

Prefix tuning for conditional generation

 

P-Tuning 튜토리얼 : 

https://huggingface.co/docs/peft/main/en/task_guides/ptuning-seq-classification

P-tuning for sequence classification

 

Prompt-Tuning 튜토리얼 : 

https://huggingface.co/docs/peft/main/en/task_guides/clm-prompt-tuning

Prompt tuning for causal language modeling