Support tags

• wandb.com의 Pricing 페이지를 방문하세요.
• academic plan을 신청하세요.
• 또는, 30일 trial로 시작한 후 W&B 학술 신청 페이지를 방문하여 academic plan으로 전환하세요.

• private 프로젝트에서는 팀 멤버만 Artifacts에 엑세스할 수 있습니다.
• public 프로젝트에서는 모든 사용자가 Artifacts를 읽을 수 있지만, 팀 멤버만 생성하거나 수정할 수 있습니다.
• open 프로젝트에서는 모든 사용자가 Artifacts를 읽고 쓸 수 있습니다.

​

Artifacts 워크플로우

• 담당 Account Executive 또는 지원팀(support@wandb.com)에 문의하여 도움을 받으세요.
• 조직 이름과 원하는 시트 수를 알려주세요.

• 영구 데이터 없음: 익명 계정의 Runs는 7일 동안만 저장됩니다. 익명 run 데이터를 실제 계정에 저장하여 영구 보관하세요.

• 아티팩트 로깅 불가: 익명 run에 아티팩트를 로깅하려고 하면 커맨드라인에 경고가 표시됩니다:
  wandb: WARNING Artifacts logged anonymously cannot be claimed and expire after 7 days.
  
• 프로필 또는 설정 페이지 없음: UI에 해당 페이지들이 포함되지 않으며, 이는 실제 계정에서만 유용합니다.

1. 각기 다른 모델 아키텍처에 대해 새로운 아티팩트를 생성하세요. 아티팩트의 metadata 속성을 사용하여 run의 config와 유사하게 아키텍처에 대한 상세 설명을 제공하세요.
2. 각 모델에 대해 log_artifact를 사용하여 주기적으로 체크포인트를 로깅하세요. W&B는 이러한 체크포인트의 히스토리를 빌드하며, 가장 최근의 체크포인트에 latest 에일리어스를 라벨링합니다. architecture-name:latest 형식을 사용하여 어떤 모델 아키텍처의 최신 체크포인트든 참조할 수 있습니다.

• 지원팀(support@wandb.com)에 문의하세요.
• 조직 이름, 계정과 연결된 이메일 주소, 그리고 사용자 이름을 알려주세요.

1. 학술용 이메일 연결:
   • 계정 설정에 엑세스합니다.
   • 학술용 이메일을 추가하고 기본(primary) 이메일로 설정합니다.
2. academic plan 신청:
   • W&B 학술 신청 페이지를 방문합니다.
   • 검토를 위해 신청서를 제출합니다.

1. W&B 계정 설정으로 이동합니다.
2. Public preview features 섹션으로 스크롤합니다.
3. UI Display에서 드롭다운의 Dark mode를 선택합니다.

1. SSL 인증서를 업그레이드하세요. Ubuntu 서버에서는 update-ca-certificates를 실행합니다. 보안 위험을 완화하면서 트레이닝 로그를 동기화하려면 유효한 SSL 인증서가 필수적입니다.
2. 네트워크 연결이 불안정하다면 선택적 환경 변수 WANDB_MODE를 offline으로 설정하여 오프라인 모드에서 작동시킨 후, 나중에 인터넷 연결이 가능한 기기에서 파일을 동기화하세요.
3. 로컬에서 실행되어 클라우드 서버와의 동기화가 필요 없는 W&B Private Hosting 사용을 고려해 보세요.

• 관리자 권한으로 팀 설정에 엑세스합니다.
• 페이지 하단의 Delete 버튼을 클릭합니다.

• online (기본값): 클라이언트가 데이터를 wandb 서버로 전송합니다.
• offline: 클라이언트가 데이터를 wandb 서버로 보내는 대신 로컬 머신에 저장합니다. 나중에 wandb sync 커맨드를 사용하여 데이터를 동기화할 수 있습니다.
• disabled: 클라이언트가 모의(mocked) 오브젝트를 반환하여 작동을 시뮬레이션하며 네트워크 통신을 방지합니다. 모든 로깅은 꺼지지만, 모든 API 메소드 스텁은 호출 가능한 상태로 유지됩니다. 이 모드는 주로 테스트용으로 사용됩니다.

1. 모델 재현성: W&B는 실험, 탐색 및 모델 재현을 용이하게 합니다. 메트릭, 하이퍼파라미터, 코드 버전 및 모델 체크포인트를 저장하여 재현성을 보장합니다.
2. 자동 구성: W&B는 시도된 모든 모델에 대한 개요를 제공하여 프로젝트 인수인계 및 휴가 복귀 시의 과정을 간소화하며, 오래된 실험의 재실행을 방지하여 시간을 절약해 줍니다.
3. 빠른 인테그레이션: 5분 안에 W&B를 프로젝트에 인테그레이션할 수 있습니다. 무료 오픈 소스 Python 패키지를 설치하고 코드 몇 줄만 추가하면 됩니다. 각 모델 run과 함께 로깅된 메트릭과 기록이 나타납니다.
4. 중앙 집중식 대시보드: 로컬, 랩 클러스터 또는 클라우드 스팟 인스턴스 등 트레이닝 장소에 관계없이 일관된 대시보드에 엑세스할 수 있습니다. 여러 머신에 흩어진 TensorBoard 파일을 관리할 필요가 없습니다.
5. 강력한 필터링 테이블: 다양한 모델의 결과를 효율적으로 검색, 필터링, 정렬 및 그룹화할 수 있습니다. TensorBoard가 대규모 프로젝트에서 어려움을 겪는 부분인, 여러 작업에 걸쳐 성능이 가장 좋은 모델을 쉽게 식별할 수 있습니다.
6. 협업 툴: W&B는 복잡한 기계학습 프로젝트를 위한 협업을 강화합니다. 프로젝트 링크를 공유하고 결과 공유를 위해 전용 팀을 활용하세요. 대화형 시각화와 markdown 설명이 포함된 리포트를 생성하여 작업 로그나 프레젠테이션으로 활용할 수 있습니다.

• API 요청을 줄이기 위해 로깅 빈도를 낮추거나 로그를 배치(batch) 처리하세요.
• 동시에 발생하는 API 요청을 피하기 위해 실험 시작 시간을 시차를 두어 조절하세요.

• W&B 상태 업데이트를 확인하여 문제가 일시적인 서버 측 문제에서 비롯된 것이 아닌지 확인하세요.

• 실험 설정에 대한 상세 정보와 함께 W&B 지원팀(support@wandb.com)에 연락하여 레이트 리미트 상향을 요청하세요.

• WANDB_DIR=<path> 또는 wandb.init(dir=<path>): 트레이닝 스크립트를 위해 생성되는 wandb 폴더의 위치를 제어합니다. 기본값은 ./wandb입니다. 이 폴더에 Run의 데이터와 로그가 저장됩니다.
• WANDB_ARTIFACT_DIR=<path> 또는 wandb.Artifact().download(root="<path>"): Artifacts가 다운로드되는 위치를 제어합니다. 기본값은 ./artifacts입니다.
• WANDB_CACHE_DIR=<path>: wandb.Artifact를 호출할 때 Artifacts가 생성되고 저장되는 위치입니다. 기본값은 ~/.cache/wandb입니다.
• WANDB_CONFIG_DIR=<path>: 설정 파일이 저장되는 위치입니다. 기본값은 ~/.config/wandb입니다.
• WANDB_DATA_DIR=<PATH>: 업로드 중에 Artifacts를 스테이징하는 데 사용되는 위치를 제어합니다. 기본값은 ~/.cache/wandb-data/입니다.

• 환경 변수 WANDB_BASE_URL을 서버 URL로 설정합니다.
• wandb login의 --host 플래그를 서버 URL로 설정합니다.

​

API 키 확인

1. 사용자 설정에서 새 API 키를 생성하세요.
2. API 키를 안전하게 보관하세요.

​

프로젝트 구성 확인

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',
    api_key="<your-api-key>",
    project="<your-team>/<your-project>",  # 반드시 본인의 W&B 팀 및 프로젝트와 일치해야 함
)

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>"

​

자주 하는 실수

• 팀 이름 대신 개인 엔티티 사용
• 팀 또는 프로젝트 이름 오타
• 팀과 프로젝트 사이의 슬래시(/) 누락
• 만료되거나 삭제된 API 키 사용

​

여전히 문제가 있나요?

• W&B 계정에 해당 팀과 프로젝트가 존재하는지 확인하세요.
• 지정된 팀에 대한 엑세스 권한이 있는지 확인하세요.
• 현재 키가 작동하지 않으면 새 API 키를 생성해 보세요.

​

1. 항상 에러 핸들링을 구현하세요

import openai

try:
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=messages
    )
except Exception as e:
    print(f"Error: {e}")
    # 적절하게 에러 처리

​

2. 지수 백오프(exponential backoff)와 함께 재시도 로직 사용

import time
from typing import Optional

def call_inference_with_retry(
    client, 
    messages, 
    model: str,
    max_retries: int = 3,
    base_delay: float = 1.0
) -> Optional[str]:
    for attempt in range(max_retries):
        try:
            response = client.chat.completions.create(
                model=model,
                messages=messages
            )
            return response.choices[0].message.content
        except Exception as e:
            if attempt == max_retries - 1:
                raise
            
            # 지수 백오프로 지연 시간 계산
            delay = base_delay * (2 ** attempt)
            print(f"Attempt {attempt + 1} failed, retrying in {delay}s...")
            time.sleep(delay)
    
    return None

​

3. 사용량 모니터링

• W&B Billing 페이지에서 크레딧 사용량을 추적하세요.
• 한도에 도달하기 전에 알림을 설정하세요.
• 애플리케이션에 API 사용량을 기록하세요.

​

4. 특정 에러 코드 처리

def handle_inference_error(error):
    error_str = str(error)
    
    if "401" in error_str:
        # 인증 오류
        raise ValueError("API 키와 프로젝트 구성을 확인하세요")
    elif "402" in error_str:
        # 크레딧 부족
        raise ValueError("크레딧이 부족합니다")
    elif "429" in error_str:
        # 레이트 리미트 도달
        return "retry"
    elif "500" in error_str or "503" in error_str:
        # 서버 오류
        return "retry"
    else:
        # 알 수 없는 오류
        raise

​

5. 적절한 타임아웃 설정

# 긴 응답을 위한 설정
client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',
    api_key="your-api-key",
    timeout=60.0  # 60초 타임아웃
)

​

추가 팁

• 디버깅을 위해 타임스탬프와 함께 에러를 기록하세요.
• 더 나은 동시성 처리를 위해 비동기 작업을 사용하세요.
• 프로덕션 시스템을 위해 서킷 브레이커(circuit breakers)를 구현하세요.
• API 호출을 줄이기 위해 적절한 경우 응답을 캐싱하세요.

• W&B Billing 페이지에서 크레딧 잔액을 확인하세요.
• 크레딧을 추가 구매하거나 플랜을 업그레이드하세요.
• 지원팀에 한도 증액을 요청하세요.

​

발생 원인

​

대처 방법

1. 서비스 약관 확인
   • 현재 지원되는 위치 목록에 대해 서비스 약관을 검토하세요.
2. 지원되는 위치에서 사용
   • 지원되는 국가 또는 지역에 있을 때 서비스를 이용하세요.
   • 지원되는 위치에 있는 조직의 리소스 사용을 고려해 보세요.
3. 계정 팀에 문의
   • 엔터프라이즈 고객은 담당 Account Executive와 옵션을 논의할 수 있습니다.
   • 일부 조직은 특별한 배치가 가능할 수도 있습니다.

​

오류 상세

{
  "error": {
    "code": 403,
    "message": "Country, region, or territory not supported"
  }
}

• 병렬 요청 수를 줄이세요.
• 요청 사이에 지연 시간을 추가하세요.
• 지수 백오프를 구현하세요.
• 참고: 레이트 리미트는 W&B 프로젝트별로 적용됩니다.

​

레이트 리미트 방지를 위한 모범 사례

1. 지수 백오프와 함께 재시도 로직 구현:
   import time
   
   def retry_with_backoff(func, max_retries=3):
       for i in range(max_retries):
           try:
               return func()
           except Exception as e:
               if "429" in str(e) and i < max_retries - 1:
                   time.sleep(2 ** i)
               else:
                   raise
   
2. 병렬 요청 대신 배치 처리 사용
3. W&B Billing 페이지에서 사용량 모니터링

​

기본 지출 상한(Spending Caps)

• Pro 계정: $6,000/월
• Enterprise 계정: $700,000/년

​

오류 유형

​

500 - Internal Server Error

​

503 - Service Overloaded

​

서버 오류 처리 방법

1. 재시도 전 대기
   • 500 오류: 30-60초 대기
   • 503 오류: 60-120초 대기
2. 지수 백오프 사용
   import time
   import openai
   
   def call_with_retry(client, messages, model, max_retries=5):
       for attempt in range(max_retries):
           try:
               return client.chat.completions.create(
                   model=model,
                   messages=messages
               )
           except Exception as e:
               if "500" in str(e) or "503" in str(e):
                   if attempt < max_retries - 1:
                       wait_time = min(60, (2 ** attempt))
                       time.sleep(wait_time)
                   else:
                       raise
               else:
                   raise
   
3. 적절한 타임아웃 설정
   • HTTP 클라이언트의 타임아웃 값을 늘리세요.
   • 더 나은 처리를 위해 비동기 작업을 고려하세요.

​

지원팀에 문의해야 하는 경우

• 오류가 10분 이상 지속될 때
• 특정 시간에 반복적인 실패 패턴이 보일 때
• 오류 메시지에 추가 상세 정보가 포함되어 있을 때

• 오류 메시지 및 코드
• 오류가 발생한 시간
• 본인의 코드 조각 (API 키는 제외)
• W&B 엔티티 및 프로젝트 이름

• 초기화 재시도: run을 다시 시작해 보세요.
• 네트워크 연결 확인: 안정적인 인터넷 연결을 확인하세요.
• wandb 버전 업데이트: 최신 버전의 wandb를 설치하세요.
• 타임아웃 설정 늘리기: WANDB_INIT_TIMEOUT 환경 변수를 수정하세요:
  import os
  os.environ['WANDB_INIT_TIMEOUT'] = '600'
  
• 디버깅 활성화: 상세 로그를 위해 WANDB_DEBUG=true 및 WANDB_CORE_DEBUG=true를 설정하세요.
• 구성 확인: API 키와 프로젝트 설정이 올바른지 확인하세요.
• 로그 검토: 오류에 대해 debug.log, debug-internal.log, debug-core.log, output.log를 검사하세요.

• 팀 관리자나 관리 권한이 있는 사람에게 연락하여 초대를 요청하세요.
• 이메일에서 초대장을 확인하고 안내에 따라 팀에 합류하세요.

1. WANDB_DISABLE_CODE를 true로 설정하여 모든 코드 추적을 끕니다. 이 작업은 git SHA 및 diff 패치의 수집을 방지합니다.
2. WANDB_IGNORE_GLOBS를 *.patch로 설정하여 diff 패치가 서버로 동기화되는 것을 중단하고, 로컬에서만 wandb restore를 위해 사용할 수 있게 유지합니다.

1. https://wandb.ai/<team>/settings에서 팀 설정으로 이동합니다. 여기서 <team>은 팀 이름입니다.
2. Privacy 섹션으로 스크롤합니다.
3. Enable code saving by default를 토글합니다.

import wandb

for x in range(10):
    with wandb.init() as run:
        for y in range(100):
            run.log({"metric": x + y})

import wandb

for x in range(10):
    run = wandb.init()

    try:
        for y in range(100):
            run.log({"metric": x + y})

    except Exception:
        run.finish(exit_code=1)
        raise

    finally:
        run.finish()

​

동시에 여러 개의 Runs 활성화

import wandb

with wandb.init(reinit="create_new") as tracking_run:
    for x in range(10):
        with wandb.init(reinit="create_new") as run:
            for y in range(100):
                run.log({"x_plus_y": x + y})

            tracking_run.log({"x": x})

​

유효한 메트릭 이름

• 허용되는 문자: 영문자 (A-Z, a-z), 숫자 (0-9), 밑줄 (_)
• 시작 문자: 이름은 반드시 영문자 또는 밑줄로 시작해야 합니다.
• 패턴: 메트릭 이름은 /^[_a-zA-Z][_a-zA-Z0-9]*$/와 일치해야 합니다.

​

예시

with wandb.init() as run:
  run.log({"accuracy": 0.9, "val_loss": 0.1, "epoch_5": 5})
  run.log({"modelAccuracy": 0.95, "learning_rate": 0.001})

with wandb.init() as run:
  run.log({"acc,val": 0.9})  # 쉼표 포함
  run.log({"loss-train": 0.1})  # 하이픈 포함
  run.log({"test acc": 0.95})  # 공백 포함
  run.log({"5_fold_cv": 0.8})  # 숫자로 시작

​

권장 해결 방법

• "test acc" 대신 "test_acc" 사용
• "loss-train" 대신 "loss_train" 사용
• "acc,val" 대신 "acc_val" 사용

• 옮길 run이 있는 프로젝트 페이지로 이동합니다.
• Runs 탭을 클릭하여 runs 테이블을 엽니다.
• 옮기려는 Runs를 선택합니다.
• Move 버튼을 클릭합니다.
• 대상 프로젝트를 선택하고 작업을 확인합니다.

1. 여러 개의 패널 그리드를 생성합니다.
2. 각 패널 그리드에 대해 원하는 run 세트를 선택하도록 필터를 적용합니다.
3. 패널 그리드 내에서 원하는 차트를 생성합니다.

1. 모든 프로세스에서 wandb.init을 호출하고 group 키워드 인수를 사용하여 공유 그룹을 생성하세요. 각 프로세스는 고유한 wandb run을 가지며, UI는 트레이닝 프로세스들을 함께 그룹화합니다.
2. 단 하나의 프로세스에서만 wandb.init을 호출하고 멀티프로세싱 큐(multiprocessing queues)를 통해 로깅할 데이터를 전달하세요.

1. W&B 앱에서 프로젝트의 아무 페이지에서나 왼쪽 네비게이션의 Overview를 클릭합니다.
2. 오른쪽 상단에서 Edit을 클릭합니다.
3. Project visibility에 대해 새로운 값을 선택합니다:
   • Team (기본값): 소속 팀원만 프로젝트를 보고 편집할 수 있습니다.
   • Restricted: 초대된 멤버만 프로젝트에 엑세스할 수 있으며, 퍼블릭 엑세스는 차단됩니다.
   • Open: 누구나 Runs를 제출하거나 리포트를 생성할 수 있지만, 편집은 소속 팀원만 가능합니다. 강의실 환경, 공개 벤치마크 경쟁 또는 기타 영구적이지 않은 컨텍스트에만 적합합니다.
   • Public: 누구나 프로젝트를 볼 수 있지만, 편집은 소속 팀원만 가능합니다.
     W&B 관리자가 Public 설정을 비활성화한 경우 선택할 수 없습니다. 대신 뷰 전용 W&B Report를 공유하거나 W&B 조직 관리자에게 도움을 요청하세요.
4. Save를 클릭합니다.

• 프로젝트 Overview 페이지로 이동합니다.
• 오른쪽 상단의 점 세 개를 클릭합니다.
• Undelete recently deleted runs를 선택합니다.

• 최근 7일 이내에 삭제된 Runs만 복구할 수 있습니다.
• 복구가 불가능한 경우 W&B API를 사용하여 수동으로 로그를 업로드할 수 있습니다.

1. 스팸 또는 정크 메일함 확인: 이메일이 그곳으로 필터링되지 않았는지 확인하세요.
2. 이메일 확인: 계정과 연결된 이메일이 맞는지 확인하세요.
3. SSO 옵션 확인: 사용 가능하다면 “Sign in with Google”과 같은 서비스를 사용해 보세요.
4. 지원팀 문의: 문제가 지속되면 사용자 이름과 이메일을 적어 지원팀(support@wandb.com)에 연락하여 도움을 받으세요.

• 현재 관리자에게 프로젝트 제거를 요청하세요.
• 관리자에게 프로젝트 관리를 위한 임시 권한 부여를 요청하세요.

• 프로젝트 overview로 이동합니다.
• Edit Project를 클릭합니다.

• model-registry와 같이 보호된 프로젝트 이름은 변경할 수 없습니다. 보호된 이름에 대해서는 지원팀에 문의하세요.

• 엑세스 확인: 올바른 이메일이나 사용자 이름을 사용하고 있는지 확인하고 관련 팀이나 프로젝트 멤버십을 확인하세요.
• 브라우저 트러블슈팅:
  • 캐시 데이터 간섭을 피하기 위해 시크릿 창을 사용하세요.
  • 브라우저 캐시를 삭제하세요.
  • 다른 브라우저나 기기에서 로그인을 시도하세요.
• SSO 및 권한:
  • ID 제공자(IdP) 및 SSO 설정을 확인하세요.
  • SSO를 사용하는 경우 적절한 SSO 그룹에 포함되어 있는지 확인하세요.
• 기술적 문제:
  • 추가 트러블슈팅을 위해 특정 오류 메시지를 기록해 두세요.
  • 문제가 지속되면 지원팀에 문의하여 추가 지원을 받으세요.

• 엔티티 및 프로젝트 이름 확인: 코드에 있는 W&B 엔티티 및 프로젝트 이름의 철자와 대소문자 구분이 정확한지 확인하세요.
• 권한 확인: 관리자가 필요한 권한을 부여했는지 확인하세요.
• 로그인 자격 증명 확인: 올바른 W&B 계정에 로그인했는지 확인하세요. 다음 코드로 run을 생성하여 테스트해 보세요:
  import wandb
  
  run = wandb.init(entity="your_entity", project="your_project")
  run.log({'example_metric': 1})
  run.finish()
  
• API 키 설정: WANDB_API_KEY 환경 변수를 사용하세요:
  export WANDB_API_KEY='your_api_key'
  
• 호스트 정보 확인: 커스텀 배포의 경우 호스트 URL을 설정하세요:
  wandb login --relogin --host=<host-url>
  export WANDB_BASE_URL=<host-url>