Dataiku 的 LLM Cost Guard允许团队监督
Posted: Sun Mar 02, 2025 10:51 am
我们可以使用 Llama2 和 Arctic 运行相同的提示，然后将 LLM 输出与呼叫中心管理团队手动汇总和验证的一组呼叫记录样本进行比较。
我们可以查看 BERT 分数、答案正确性、相关性和真实性等指标——看起来 Llama2 在这个用例中表现最佳！
现在，我们可以创建一个场景，通过相同 塞浦路斯 WhatsApp 数据 的提示运行存储在 Snowflake 表中的所有记录，每天早上 5 点触发 Llama2 模型。我们可以添加一个 Slack webhook，向每个呼叫中心代理发送前一天通话的摘要。
与所有 LLM Mesh 连接器一样，和控制 Snowflake Cortex AI 成本（按应用程序、服务、用户或项目）并诊断问题。
借助 Dataiku 和 Snowflake，您可以在几天（而不是几个月）内构建由 LLM 驱动的应用程序、在其周围添加保护措施并实现工作流程的生产化。
Dataiku API 到 Snowpark 容器服务
当 Snowflake 推出其容器平台 Snowpark Container Services (SPCS) 时，Dataiku 的一个特殊用例引起了我们的关注：部署容器化模型进行实时推理。
我们可以查看 BERT 分数、答案正确性、相关性和真实性等指标——看起来 Llama2 在这个用例中表现最佳！
现在，我们可以创建一个场景，通过相同 塞浦路斯 WhatsApp 数据 的提示运行存储在 Snowflake 表中的所有记录，每天早上 5 点触发 Llama2 模型。我们可以添加一个 Slack webhook，向每个呼叫中心代理发送前一天通话的摘要。
与所有 LLM Mesh 连接器一样，和控制 Snowflake Cortex AI 成本（按应用程序、服务、用户或项目）并诊断问题。
借助 Dataiku 和 Snowflake，您可以在几天（而不是几个月）内构建由 LLM 驱动的应用程序、在其周围添加保护措施并实现工作流程的生产化。
Dataiku API 到 Snowpark 容器服务
当 Snowflake 推出其容器平台 Snowpark Container Services (SPCS) 时，Dataiku 的一个特殊用例引起了我们的关注：部署容器化模型进行实时推理。