轻松连接到 AWS Bedrock 等第三方模型中心

ayesha983

在上面的 OpenAI 连接示例中，请注意管理员如何从多代和多种类型的 GPT 模型中进行选择，并根据每个模型旁边提供的成本和速度信息，决定向团队提供哪些模型。对模型的访问由基于组的权限安全地控制。

访问 Hugging Face 模型库中数十种最受欢迎​​的开源模型，这些模型已针对聊天机器人、文本分类、摘要或情感分析等特定任务进行了微调。

通过与 Dataiku 建立本地 Hugging Face 连接，即可获得现成的模型

通过与 Dataiku 建立本地 Hugging Face 连接，即可获得现成的模型

LLM Mesh 甚至包括与托管在第三方模型中心（例如 AWS Bedrock）的模型的连接。


轻松连接到 AWS Bedrock 等第三方模型中心。

通过 LLM 保持可见性和跟踪
最后，让我们谈谈透明度和跟踪。标准 IT 实践规定，组织需 德国电报数据 要维护针对其基础架构运行的查询的完整轨迹。这既是为了管理性能（例如，识别低效且非常昂贵的 LLM 提示背后的罪魁祸首），也是为了确保安全性（即，知道谁在查询哪些数据以及出于什么原因）。同样的需求也适用于 LLM。

一份完全可审计的日志记录了谁在使用哪个 LLM 以及出于什么目的使用了哪种服务，这不仅有助于成本跟踪（和内部退款），还能完全追溯这些有时不可预测的模型的请求和响应。我们将在本博客系列的后续文章中深入探讨这个主题。