Cohere fine-tuning

​

Cohere 미세 조정 결과 기록

1. W&B API 키, W&B entity 및 project 이름으로 WandbConfig를 생성합니다. W&B API 키는 https://wandb.ai/authorize 에서 찾을 수 있습니다.
2. 모델 이름, 데이터셋 및 하이퍼파라미터와 함께 이 설정을 FinetunedModel 오브젝트에 전달하여 미세 조정 run을 시작합니다.
   from cohere.finetuning import WandbConfig, FinetunedModel
   
   # W&B 세부 정보로 config를 생성합니다.
   wandb_ft_config = WandbConfig(
       api_key="<wandb_api_key>",
       entity="my-entity", # 제공된 API 키와 연결된 유효한 entity여야 합니다.
       project="cohere-ft",
   )
   
   ...  # 데이터셋 및 하이퍼파라미터를 설정합니다.
   
   # cohere에서 미세 조정 run을 시작합니다.
   cmd_r_finetune = co.finetuning.create_finetuned_model(
     request=FinetunedModel(
       name="command-r-ft",
       settings=Settings(
         base_model=...
         dataset_id=...
         hyperparameters=...
         wandb=wandb_ft_config  # 여기에 W&B config를 전달합니다.
       ),
     ),
   )
   
3. 모델의 미세 조정 트레이닝 및 유효성 검사 메트릭과 하이퍼파라미터를 생성한 W&B project에서 확인합니다.
   

​

Runs 구성

​

참고 자료

• Cohere Fine-tuning Example