자동화 이벤트 및 스코프

특정 이벤트가 Projects 또는 registry 내에서 발생할 때 자동화를 시작할 수 있습니다. 이 페이지에서는 각 범위 내에서 자동화를 트리거할 수 있는 이벤트에 대해 설명합니다. 자동화에 대한 자세한 내용은 Automations 개요 또는 자동화 만들기에서 확인할 수 있습니다.

​

Registry

이 섹션에서는 Registry 내 자동화의 범위와 이벤트에 대해 설명합니다.

​

Scopes

Registry 자동화는 향후 추가될 컬렉션을 포함하여, 특정 registry 내의 모든 컬렉션에서 발생하는 이벤트를 모니터링합니다.

​

Events

Registry 자동화는 다음 이벤트를 모니터링할 수 있습니다:

• 컬렉션에 새로운 버전이 연결됨: registry에 추가된 새로운 모델이나 데이터셋을 테스트하고 검증합니다.
• 아티팩트 에일리어스가 추가됨: 아티팩트 버전에 특정 에일리어스가 적용될 때 워크플로우의 특정 단계를 트리거합니다. 예를 들어, 모델에 production 에일리어스가 적용되면 모델을 배포합니다.

​

Project

이 섹션에서는 project 내 자동화의 범위와 이벤트에 대해 설명합니다.

​

Scopes

Project 레벨 자동화는 프로젝트 내의 모든 컬렉션에서 발생하는 이벤트를 모니터링합니다. 지정한 이벤트에 따라 자동화의 범위를 더 세분화하여 제한할 수 있습니다.

​

Artifact 이벤트

이 섹션에서는 자동화를 트리거할 수 있는 아티팩트 관련 이벤트에 대해 설명합니다.

• 아티팩트에 새로운 버전이 추가됨: 아티팩트의 각 버전에 대해 반복적인 작업을 적용합니다. 예를 들어, 새로운 데이터셋 아티팩트 버전이 생성될 때 트레이닝 작업을 시작합니다.
• 아티팩트 에일리어스가 추가됨: 프로젝트 내의 새로운 아티팩트 버전에 지정한 Alias regex와 일치하는 에일리어스가 적용될 때 워크플로우의 특정 단계를 트리거합니다. 예를 들어, 아티팩트에 test-set-quality-check 에일리어스가 적용될 때 일련의 다운스트림 처리 단계를 실행하거나, 새로운 아티팩트 버전에 latest 에일리어스가 붙을 때마다 워크플로우를 실행합니다. 특정 시점에 하나의 아티팩트 버전만 해당 에일리어스를 가질 수 있습니다.
• 아티팩트 태그가 추가됨: 프로젝트 내의 아티팩트 버전에 지정한 Tag regex와 일치하는 태그가 적용될 때 워크플로우의 특정 단계를 트리거합니다. 예를 들어, ^europe.*를 지정하여 europe으로 시작하는 태그가 아티팩트 버전에 추가될 때 특정 지역 전용 워크플로우를 트리거할 수 있습니다. 아티팩트 태그는 그룹화 및 필터링에 사용되며, 하나의 태그를 여러 아티팩트 버전에 동시에 지정할 수 있습니다.

​

Run 이벤트

자동화는 run의 상태 변화 또는 메트릭 값의 변화에 의해 트리거될 수 있습니다.

​

Run 상태 변경

Run의 상태가 Running, Finished, 또는 Failed로 변경될 때 워크플로우를 트리거합니다. 선택적으로 사용자 또는 run 이름 필터를 지정하여 자동화를 트리거할 수 있는 run을 더 제한할 수 있습니다. Run 상태는 전체 run의 속성이므로, Workspace가 아닌 Automations 페이지에서만 run 상태 자동화를 생성할 수 있습니다.

​

Run 메트릭 변경

Run의 history에 있는 메트릭 또는 CPU 사용률을 추적하는 cpu와 같은 시스템 메트릭에 로그된 값을 기반으로 워크플로우를 트리거합니다. W&B는 시스템 메트릭을 15초마다 자동으로 로그합니다. 프로젝트의 Automations 탭이나 Workspace의 라인 플롯 패널에서 직접 run 메트릭 자동화를 생성할 수 있습니다. Run 메트릭 자동화를 설정하려면 메트릭 값을 지정한 임계값(threshold)과 비교하는 방법을 구성합니다. 선택 옵션은 이벤트 유형 및 지정한 필터에 따라 달라집니다. 선택적으로 사용자 또는 run 이름 필터를 지정하여 자동화를 트리거할 수 있는 run을 더 제한할 수 있습니다.

임계값 (Threshold)

Run metrics threshold met 이벤트의 경우 다음을 구성합니다:

1. 고려할 최근 로그 값의 윈도우 크기 (기본값은 5).
2. 윈도우 내에서 Average, Min, 또는 Max 값 중 무엇을 평가할지 선택.
3. 비교 조건:
   • Above (초과)
   • Above or equal to (이상)
   • Below (미만)
   • Below or equal to (이하)
   • Not equal to (같지 않음)
   • Equal to (같음)

예를 들어, 평균 accuracy가 .6을 초과할 때 자동화를 트리거합니다.

변경 임계값 (Change threshold)

Run metrics change threshold met 이벤트의 경우, 자동화는 시작 여부를 확인하기 위해 두 개의 값 “윈도우”를 사용합니다:

• 고려할 최근 로그 값의 현재 윈도우 (기본값은 10).
• 고려할 최근 로그 값의 이전 윈도우 (기본값은 50).

현재 윈도우와 이전 윈도우는 연속적이며 겹치지 않습니다. 자동화를 생성하려면 다음을 구성합니다:

1. 로그된 값의 현재 윈도우 (기본값은 10).
2. 로그된 값의 이전 윈도우 (기본값은 50).
3. 값을 상대적(Relative)으로 평가할지 절대적(Absolute)으로 평가할지 여부 (기본값은 Relative).
4. 비교 조건:
   • Increases by at least (최소 다음만큼 증가)
   • Decreases by at least (최소 다음만큼 감소)
   • Increases or decreases by at least (최소 다음만큼 증가 또는 감소)

예를 들어, 평균 loss가 최소 .25만큼 감소할 때 자동화를 트리거합니다.

​

Run 메트릭 z-score 변경

W&B는 메트릭의 z-score(표준 점수)가 특정 임계값을 초과할 때 자동화를 트리거할 수 있습니다. z-score는 프로젝트 내의 구성 가능한 run 윈도우(기본값 30개 run)에 걸쳐 해당 메트릭의 평균으로부터 값이 몇 표준 편차만큼 떨어져 있는지를 측정합니다. z-score를 이벤트 트리거로 사용하려면 Run metrics z-score threshold met 이벤트를 선택하세요. z-score 기반 자동화는 모델이나 트레이닝 프로세스가 발전함에 따라 변할 수 있는 절대적인 임계값을 확인하지 않고도, 팀이 비정상적인 성능에 대해 정보를 즉시 파악할 수 있도록 도와줍니다. 프로젝트의 Automations 탭이나 Workspace의 라인 플롯 패널에서 직접 run 메트릭 z-score 자동화를 생성할 수 있습니다. z-score 자동화를 생성하려면 다음을 구성합니다:

1. 양수의 float 값으로 표현된 목표 z-score 임계값 (예: 2.0).
2. 평균값을 결정하는 로그된 값의 윈도우 (기본값은 30).
3. 비교 조건:
   • Above (성능이 비정상적으로 높을 때 트리거)
   • Below (성능이 비정상적으로 낮을 때 트리거)
   • Either above or below (높거나 낮을 때 모두 트리거)

예를 들어, accuracy의 z-score가 2를 초과할 때 자동화를 트리거하면, 해당 run이 프로젝트의 다른 run들보다 훨씬 더 나은 성능을 보이고 있음을 의미합니다. z-score 값의 이해:

• z-score가 0이면 메트릭이 평균임을 의미합니다.
• z-score가 +2.0이면 메트릭이 평균보다 2 표준 편차 높음을 의미합니다.
• z-score가 -2.0이면 메트릭이 평균보다 2 표준 편차 낮음을 의미합니다.
• ±2를 벗어나는 값은 종종 통계적으로 유의미한 이상치(outlier)로 간주됩니다.

​

Run 필터

이 섹션에서는 자동화가 평가할 run을 선택하는 방법에 대해 설명합니다.

• 기본적으로 이벤트가 발생할 때 프로젝트 내의 모든 run이 자동화를 트리거합니다. 다음 필터 중 하나를 구성하여 자동화를 트리거하는 run을 제한할 수 있습니다:
  • Filter to one user’s runs: 특정 사용자가 생성한 run만 포함합니다.
  • Filter on run name: 이름이 지정된 정규 표현식과 일치하는 run만 포함합니다.
  자세한 내용은 자동화 만들기를 참조하세요.
• 각 run은 개별적으로 고려되며 잠재적으로 자동화를 트리거할 수 있습니다.
• 각 run의 값은 별도의 윈도우에 배치되어 개별적으로 임계값과 비교됩니다.
• 24시간 동안 특정 자동화는 run당 최대 한 번만 실행될 수 있습니다.

​

다음 단계

• Slack 자동화 만들기
• Webhook 자동화 만들기