模型效率预计至少与 Llama 3 8B 和 Llama 2 70B 一样高，但训练计算预算不到一半（约 200 万美元，不到 3000 个 GPU 周）。这是通过 Dense - MoE 混合变压器模型架构实现的。 Dense Transformer 和 MoE Transformer 的组合。
为了针对上述用例训练模型，开展了面向业务的数据课程。原则上，与人类生活中的技能学习类似，该模型首先接受通用技能的训练，然后在最后阶段学习更复杂的指标。
如率的更多信息，可以在此处访问“ Arctic Cookbook ”。它包含有关建模、系统、数据和调优的详细文章。要尝试 Arctic，请点击此链接，该链接将提供免费的 Hugging Face 演示。
雪花嵌入模型
文本嵌入模型在 GenAI 领域也发挥着核心作用。这些模 室内设计师电子邮件列表 型将文本数据转换为数值向量。这些向量包含文本的语义信息，使得相似的文本具有相似的向量。由于机器需要数字输入来执行计算，因此文本嵌入是许多下游 NLP 应用程序的关键组成部分。 Snowflake 发布了一系列从 s-small (xs) 到 Large (l) 等五种尺寸的嵌入模型，这些模型在大规模文本嵌入基准 (MTEB) 中实现了顶级性能。
图 4：大规模文本嵌入基准 (MTEB)，来源
这些模型特别与检索增强生成（RAG）结合使用。 RAG 提供了一种利用目标和当前信息（例如专有数据）来优化法学硕士输出的方法，而无需重新训练基本模型。该实现需要嵌入模型，将这些新数据转换为向量，然后将其与元数据一起存储在向量数据库中。
结论
Snowflake的使命是帮助客户高效、轻松地使用GenAI做出更好的决策，提高生产力，并通过使用所有类型的数据来接触更多的客户。为此，服务通过 OSS LLM 提供自定义工作负载的功能，并为高级 NLP 任务提供无服务器 GenAI 功能。通过“Arctic”，公司可以使用开放式法学硕士，通过这些公司可以创建 SQL Data Copilots、Code Copilots，并且在 Arctic Embedding 系列的帮助下，可以创建 RAG 聊天机器人。由此，Snowflake 显着扩展了其综合数据平台和 AI 功能，创建了强大的基础设施，帮助企业通过使用 GenAI 显着改进其数据策略。
您想了解更多关于 adesso 世界中令人兴奋的话题吗？那么请看一下我们之前发布的博客文章。