小图:DeepSeek+Dify
摘要:轻松运用开源 LLM 应用开发平台
作者:一站式模型服务的
生成式 AI 原生应用的开发与部署成为众多企业和开发者探索的方向。复杂的技术流程和高昂的开发门槛却常常令人望而却步。青云科技旗下 AI 算力云——基石智算 CorsHub 凭借高度标准化的平台与应用集成,让用户能够快速获得所需模型与应用,构建便捷、灵活的开发环境。
#
Dify 是一个开源的 LLM 应用开发平台,为用户提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。Dify 平台集成了:
主流 LLM。
具备直观的 Prompt 协调界面。
高质量的 RAG 引擎。
灵活的人工智能代理框架。
支持低代码/无代码开发。
易用的界面和 API 接口。
#
本文将以智算平台上大模型服务中的 DeepSeek-R1 为例,向用户介绍如何在 Dify 中调用相应模型,部署自己的 AI 应用。
步骤一 获取 API 密钥和域名
1. 注册并登录基石智算。
2. 在顶部导航栏,选择产品与服务 > 大模型服务 > 大模型服务平台。
3. 进入大模型服务管理页面,在左侧导航栏中选择 API 密钥管理,创建并获取 API 密钥。
说明:
若平台内无可用的 API 密钥,用户可参考创建和获取新的 API 密钥。
若平台内已有可用的 API 密钥,用户可直接将鼠标悬停在指定密钥上,点击 API 密钥右侧的复制按钮,即可获取完整的 API 密钥。
4. 用户可在左侧导航栏选择在线推理服务,点击目标模型卡片页中的 API 文档,查看预置模型 API 服务接口路径,即为模型的 API 域名。
说明:当前平台上的预置模型的 API 域名为,用户可直接 使用无需修改。
步骤二 配置和使用 Dify
1. 访问 Dify 官网,点击开始使用。
2. 进入 Dify 账号登录页面,用户根据实际情况选择合适的登录方式,登录即可。
3. 登录成功后,点击右上角账户名称,选择设置。
4. 在设置页面,选择模型供应商,在添加更多模型提供商模块,找到 OpenAI-API-compatible,并点击添加模型。
5. 在弹出的添加 OpenAI-API-compatible 窗口中,配置各项参数,点击保存。
a. 模型类型:此处勾选 LLM 即可。
b. 模型名称:用户在智算平台的在线推理服务页面,复制得到模型名称,本实践中此处填写 DeepSeek-R1。
c.API Key:用户在 API 密钥管理中复制得到完整 API 密钥,需根据实际情况进行修改。
d.API endpoint URL:智算平台上的预置模型的 API 的 endpoint URL ,用户可直接使用无需修改。
e. 其他参数,用户可根据实际情况修改或保持默认。
6. 待页面提示修改成功后,返回 Dify 工作室,点击创建空白应用。
7. 在创建空白应用页面,选择聊天助手,输入应用名称&图标,点击创建。
8. 在调试与预览窗口上面,将所使用的模型切换为自行配置的 DeepSeek-R1,用户即可进行自有聊天助手的调试。
说明:
用户也可点击多个模型进行调试,选择平台内的其他模型同时对比调试。