Dify

Dify는 오픈소스 LLM 애플리케이션 오케스트레이션 플랫폼으로, 「OpenAI-API-compatible」 공급자를 통해 4ALL API를 연결합니다.

설정 단계

1. 설정 → 모델 공급자로 이동합니다;
2. OpenAI-API-compatible을 찾아 모델 추가를 클릭합니다:
   • 모델 유형: LLM (또는 Text Embedding 등 필요에 따라 선택)
   • 모델 이름: 예: gpt-5.6
   • API Key: 본인의 sk- 토큰
   • API endpoint URL: https://api.4allapi.com/v1
3. 저장 후 애플리케이션 오케스트레이션의 모델 드롭다운에서 해당 모델을 선택할 수 있습니다;
4. 여러 모델이 필요한 경우, 위 단계를 반복하여 하나씩 추가합니다.

권장 사항

• 지식 베이스 검색에 사용하는 임베딩 모델도 4ALL API에서 추가하고 (유형은 Text Embedding 선택), 대화 모델과 하나의 토큰을 공유하여 통합 청구합니다;
• 워크플로우의 각 노드에 서로 다른 모델을 바인딩하여, 작업 복잡도에 따라 배분하고 전체 비용을 절감합니다;
• Dify를 내부 네트워크에 자체 배포하는 경우, 서버가 api.4allapi.com의 443 포트에 접근할 수 있는지 확인합니다.