AGI 营地
天工｜国内首个对标 ChatGPT的双千亿级大语言模型
「天工」由昆仑万维主导研发，是国内首个对标 ChatGPT的双千亿级大语言模型。它通过自然语言与用户进行问答式交互，最高已能支持 1 万字以上文本对话，实现 20 轮次以上用户交互，可满足创作、问答、推理等多元化需求。
 
模型信息
1. 类型：通用基础大模型   
2. 是否开源：开源   
3. 是否可免费商用：可免费商用
 
✨ 模型亮点
1. Skywork-13B-Base在高质量清洗过滤的3.2万亿个多语言（主要是中文和英文）和代码数据上进行预训练，它在多种评测和各种基准测试上都展现了同等规模模型的最佳效果。
 
2. Skywork-13B-Chat 具备强大的对话能力，天工在文创领域进行了进一步的针对性增强。他们通过构建一万多条高质量指令数据集，在 10 个文创任务上进行了针对性微调，使模型在文创任务中能够接近 ChatGPT 的效果。此外，他们开源了针对这 10 个文创任务上的大约 500 条样本组成的 benchmark。
 
3. Skywork-13B-Math 模型经过专门的数学能力强化训练。在 13B 参数规模下，天工在 GSM8K 评测上得分第一，同时在 MATH 数据集以及 CMATH 上也表现优异，处于13B 模型顶尖水平。
 
4. Skywork-13B-MM多模态模型支持用户输入图片信息进行问答，对话等任务。
 
5. Skywork/Skypile-150B 数据集是根据经过精心过滤的数据处理流程从中文网页中筛选出的高质量数据。本次开源的数据集大小约为 600GB，总的 token 数量约为 150B，是目前开源最大中文数据集。
 
🙋 模型体验
 
2023-12-25
浏览136
国产大模型
登录后评论
评论
分享