```python lines theme={null}
# Chain of Density Summarization
@weave.op()
def summarize_current_summary(
document: str,
instruction: str,
current_summary: str = "",
iteration: int = 1,
model: str = "claude-3-sonnet-20240229",
):
prompt = f"""
Document: {document}
Current summary: {current_summary}
Instruction to focus on: {instruction}
Iteration: {iteration}
Generate an increasingly concise, entity-dense, and highly technical summary from the provided document that specifically addresses the given instruction.
"""
response = anthropic_client.messages.create(
model=model, max_tokens=4096, messages=[{"role": "user", "content": prompt}]
)
return response.content[0].text
@weave.op()
def iterative_density_summarization(
document: str,
instruction: str,
current_summary: str,
density_iterations: int,
model: str = "claude-3-sonnet-20240229",
):
iteration_summaries = []
for iteration in range(1, density_iterations + 1):
current_summary = summarize_current_summary(
document, instruction, current_summary, iteration, model
)
iteration_summaries.append(current_summary)
return current_summary, iteration_summaries
@weave.op()
def final_summary(
instruction: str, current_summary: str, model: str = "claude-3-sonnet-20240229"
):
prompt = f"""
Given this summary: {current_summary}
And this instruction to focus on: {instruction}
Create an extremely dense, final summary that captures all key technical information in the most concise form possible, while specifically addressing the given instruction.
"""
return (
anthropic_client.messages.create(
model=model, max_tokens=4096, messages=[{"role": "user", "content": prompt}]
)
.content[0]
.text
)
@weave.op()
def chain_of_density_summarization(
document: str,
instruction: str,
current_summary: str = "",
model: str = "claude-3-sonnet-20240229",
density_iterations: int = 2,
):
current_summary, iteration_summaries = iterative_density_summarization(
document, instruction, current_summary, density_iterations, model
)
final_summary_text = final_summary(instruction, current_summary, model)
return {
"final_summary": final_summary_text,
"accumulated_summary": current_summary,
"iteration_summaries": iteration_summaries,
}
```
다음은 각 함수의 역할입니다:
* `summarize_current_summary`: 현재 상태를 바탕으로 한 번의 요약 반복을 생성합니다.
* `iterative_density_summarization`: `summarize_current_summary`를 여러 번 호출해 CoD 기법을 적용합니다.
* `chain_of_density_summarization`: 전체 요약 과정을 조정하고 결과를 반환합니다.
`@weave.op()` 데코레이터는 Weave가 이러한 함수의 입력, 출력, 실행을 추적하도록 합니다.
```python lines theme={null}
# Weave Model
class ArxivChainOfDensityPipeline(weave.Model):
model: str = "claude-3-sonnet-20240229"
density_iterations: int = 3
@weave.op()
def predict(self, paper: ArxivPaper, instruction: str) -> dict:
text = load_pdf(paper.pdf_url)
result = chain_of_density_summarization(
text,
instruction,
model=self.model,
density_iterations=self.density_iterations,
)
return result
```
이 `ArxivChainOfDensityPipeline` 클래스는 요약 로직을 Weave Model로 캡슐화하며, 다음과 같은 주요 이점을 제공합니다:
* 자동 실험 추적: Weave는 모델의 각 실행에 대한 입력, 출력, 파라미터를 자동으로 캡처합니다.
* 버전 관리: 모델의 속성이나 코드 변경 사항이 자동으로 버전 관리되므로, 시간이 지남에 따라 요약 파이프라인이 어떻게 발전했는지 명확한 이력을 남길 수 있습니다.
* 재현성: 버전 관리와 추적 기능을 통해 요약 파이프라인의 이전 결과나 설정을 재현할 수 있습니다.
* 하이퍼파라미터 관리: `model`, `density_iterations`와 같은 모델 속성이 서로 다른 실행 전반에서 명확하게 정의되고 추적되므로 실험을 더 쉽게 수행할 수 있습니다.
* Weave 에코시스템과의 인테그레이션: `weave.Model`을 사용하면 evaluations 및 서빙 기능과 같은 다른 Weave 도구와 함께 작동합니다.
## Weave 데이터셋을 만들고 평가를 실행하세요
이제 점수화 함수가 정의되었으므로, 마지막 단계는 이를 샘플 입력에 적용해 평가를 실행하는 것입니다. 파이프라인을 평가하려면 Weave 데이터셋을 만들고 평가를 실행하세요.
```python lines theme={null}
# Weave 데이터셋 생성
dataset = weave.Dataset(
name="arxiv_papers",
rows=[
{
"paper": arxiv_paper,
"instruction": "What was the approach to experimenting with different data mixtures?",
},
],
)
weave.publish(dataset)
```
평가에는 LLM-as-a-judge 접근 방식을 사용하세요. 이 기법은 언어 모델을 사용해 다른 모델이나 시스템이 생성한 출력의 품질을 평가합니다. 특히 기존 메트릭만으로는 충분하지 않을 수 있는 작업에서, LLM의 이해력과 추론 능력을 바탕으로 더 세밀한 평가를 제공합니다.
[](https://arxiv.org/abs/2306.05685)
```python lines theme={null}
# Scorer 함수 정의
@weave.op()
def quality_scorer(instruction: str, output: dict) -> dict:
result = evaluate_summary(output["final_summary"], instruction)
return result
```
```python lines theme={null}
# 평가 실행
evaluation = weave.Evaluation(dataset=dataset, scorers=[quality_scorer])
arxiv_chain_of_density_pipeline = ArxivChainOfDensityPipeline()
results = await evaluation.evaluate(arxiv_chain_of_density_pipeline)
```
이 코드는 샘플 ArXiv 논문으로 데이터셋을 만들고, 품질 Scorer를 정의한 다음, 요약 파이프라인을 평가합니다.
## 결론
이 예제에서는 Weave를 사용해 ArXiv 논문용 Chain of Density 요약 파이프라인을 구현하는 방법을 보여드렸습니다. 다음 내용을 배웠습니다.
* 요약 프로세스의 각 단계에 대한 Weave 오퍼레이션 만들기
* 추적 및 평가를 위해 파이프라인을 Weave Model로 래핑하기
* Weave 오퍼레이션을 사용해 맞춤형 평가 메트릭 구현하기
* 데이터셋을 만들고 파이프라인 평가를 실행하기
Weave는 요약 프로세스 전반에서 입력, 출력, 중간 단계를 추적하므로 LLM 애플리케이션을 더 쉽게 디버그하고, 최적화하고, 평가할 수 있습니다.
이 예제를 확장해 더 큰 데이터셋을 처리하거나, 더 정교한 평가 메트릭을 구현하거나, 다른 LLM 워크플로와 통합할 수 있습니다.
W\&B에서 전체 Report 보기