公告:零目录(www.dir0.com)专业分类目录平台,收录各行业优秀网站(违法站勿扰),快审仅需20元/站,永久收录!合作QQ:404959672

快速审核,网站广告合作请联系我们
  • 分类:131
  • 网站:2936
  • 文章:6229

北京商报讯(记者 魏蔚)11月15日,创新工场创始人李开复创办的大模型公司零一万物,针对其开源Yi大模型涉嫌抄袭LLaMA一事作出说明,并“表达诚挚的歉意,我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新”。

零一万物是李开复创办的大模型创业公司,11月6月开源了预训练大模型 Yi-34和Yi-6B。不过,开发者ehartford在Yi-34B的Hugging Face开源主页上表示,称该模型使用了Meta LLaMA的架构 ,只对两个张量名称进行了修改 ,分别为input_layernorm和post_attention_layernorm。ehartford还表示,希望该公司在模型被大量使用之前考虑重命名张量以符合LLaMA架构,并将这一更改应用到官方模型中。

根据零一万物的说明,零一万物在训练模型过程中,沿用了GPT/LLaMA的基本架构,由于LLaMA社区的开源贡献,让零一万物可以快速起步。零一万物从零开始训练了 Yi-34B 和 Yi-6B 模型,并根据实际的训练框架重新实现了训练代码,用自建的数据管线构建了高质量配比的训练数据集(从3PB原始数据精选到3T token高质量数据)。除此以外,在 Infra 部分进行算法、硬件、软件联合端到端优化,实现训练效率倍级提升和极强的容错能力等原创性突破。这些科学训模的系统性工作,往往比起基本模型结构能起到巨大的作用跟价值。

“在零一万物初次开源过程中,我们发现用和开源社区普遍使用的LLaMA 架构会对开发者更为友好,对于沿用LLaMA部分推理代码经实验更名后的疏忽,原始出发点是为了充分测试模型,并非刻意隐瞒来源”,对此,零一万物提出说明并表达诚挚的歉意,“我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新”。

    关键词: 万物 李开复 模型
    精彩推荐

    时间:24/01/14

    11月23日,第二届全球数字贸易博览会开幕。在当天下午召开的“2023丝路...

    时间:24/01/14

    目光所及之处,短剧剧组遍布每个角落,无论是在街头漫步,进入饭店用餐,还是...

    时间:24/01/14

    北京商报讯11月23日,据“文旅之声”微信公众号,文化和旅游部、工业和信...

    时间:24/01/13

    随着人工智能、大数据和5G等新技术的加速发展,如何推动媒体迭代演进,构...

    文章分类
    快审网站推荐
    随机网站推荐
    鱼鱼影视22/09/09

    鱼鱼影视汇聚各大视频网站的资源,包括最新高清电影、热播连载电视剧、...

    欢迎来到中国算命网,为用户提供测算功能强大、操作简单的并且完全免费...

    猫扑娱乐网WWW.MOPTT.COM致力于最新明星娱乐八卦及民生资讯,欢迎您品...

    碟民网22/09/04

    百度一下 你就知道...

    评游网22/09/08

    评游网,正规棋牌游戏,合法棋牌游戏,游戏币销量最好,购买人数最多,免...

    天韵动漫22/09/08

    天韵漫音动画片大全整合在线影视动画片全集主题音乐和插曲,背景音乐....

    易动漫22/09/11

    易动漫给漫画爱好者提供最新热门好看的邪恶少女漫画,斗破苍穹漫画,海...

    待君重披黄金甲!《剑侠世界-剑世区》春季资料片“指尖相逢”3月28日江...

    天星一卡通致力于成为中国最具竞争力的全数字产品综合营销支付服务提...

    抽屉网22/09/07

    抽屉网成立于2014 年,由河南黑白电子科技有限公司(简称:黑白科技)独家...