Platform
W&B Models
W&B Weave
W&B Inference
W&B Training
Release NotesIntroduction
Microsoft Azure에서 GPT-3.5 또는 GPT-4 모델을 파인튜닝할 때 W&B를 사용하면 메트릭을 자동으로 캡처하고, W&B의 실험 트래킹 및 평가 툴을 통해 체계적인 평가를 촉진함으로써 모델 성능을 트래킹, 분석 및 개선할 수 있습니다.
Prerequisites
- 공식 Azure 문서에 따라 Azure OpenAI 서비스를 설정합니다.
- API 키를 사용하여 W&B 계정을 설정합니다.
Workflow overview
1. Fine-tuning setup
- Azure OpenAI 요구 사항에 따라 트레이닝 데이터를 준비합니다.
- Azure OpenAI에서 파인튜닝 작업을 구성합니다.
- W&B는 파인튜닝 프로세스를 자동으로 트래킹하며, 메트릭과 하이퍼파라미터를 로그합니다.
2. Experiment tracking
파인튜닝 과정 동안 W&B는 다음 항목들을 캡처합니다:- 트레이닝 및 검증 메트릭
- 모델 하이퍼파라미터
- 리소스 사용량
- 트레이닝 Artifacts
3. Model evaluation
파인튜닝 후, W&B Weave를 사용하여 다음을 수행합니다:- 참조 데이터셋에 대한 모델 출력 평가
- 서로 다른 파인튜닝 Runs 간의 성능 비교
- 특정 테스트 케이스에 대한 모델 행동 분석
- 모델 선택을 위한 데이터 기반 의사결정
Real-world example
- 의학 노트 생성 데모를 탐색하여 이 인테그레이션이 어떻게 다음을 지원하는지 확인해 보세요:
- 파인튜닝 실험의 체계적인 트래킹
- 도메인 특화 메트릭을 사용한 모델 평가
- 파인튜닝 노트북 인터랙티브 데모를 직접 실행해 보세요.