사전 요구 사항
- 공식 Azure 문서에 따라 Azure OpenAI 서비스를 설정합니다.
- API 키를 사용하도록 W&B 계정을 설정합니다.
워크플로 개요
파인튜닝 설정
- Azure OpenAI 요구 사항에 따라 트레이닝 데이터를 준비합니다.
- Azure OpenAI에서 파인튜닝 작업을 설정합니다.
- W&B를 사용해 파인튜닝 과정을 추적하고 메트릭과 하이퍼파라미터를 로깅합니다.
실험 추적
- 트레이닝 및 검증 메트릭.
- 모델 하이퍼파라미터.
- 리소스 사용량.
- 트레이닝 아티팩트.
모델 평가
- 모델 출력을 레퍼런스 데이터셋과 비교하여 평가합니다.
- 서로 다른 파인튜닝 run 간의 성능 비교합니다.
- 특정 테스트 사례에서 모델의 동작 분석합니다.
- 데이터에 기반해 모델 선택 결정합니다.
실제 사용 사례
- 의료 노트 생성 데모를 살펴보며 이 인테그레이션이 다음을 어떻게 지원하는지 확인해 보세요:
- 파인튜닝 실험의 체계적인 추적
- 도메인별 메트릭을 활용한 모델 평가
- 대화형 파인튜닝 노트북을 따라 해보세요.