公告:零目录(www.dir0.com)专业分类目录平台,收录各行业优秀网站(违法站勿扰),快审仅需20元/站,永久收录!合作QQ:404959672

快速审核,网站广告合作请联系我们
  • 分类:131
  • 网站:5327
  • 文章:8278

北京商报讯(记者 魏蔚)11月15日,创新工场创始人李开复创办的大模型公司零一万物,针对其开源Yi大模型涉嫌抄袭LLaMA一事作出说明,并“表达诚挚的歉意,我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新”。

零一万物是李开复创办的大模型创业公司,11月6月开源了预训练大模型 Yi-34和Yi-6B。不过,开发者ehartford在Yi-34B的Hugging Face开源主页上表示,称该模型使用了Meta LLaMA的架构 ,只对两个张量名称进行了修改 ,分别为input_layernorm和post_attention_layernorm。ehartford还表示,希望该公司在模型被大量使用之前考虑重命名张量以符合LLaMA架构,并将这一更改应用到官方模型中。

根据零一万物的说明,零一万物在训练模型过程中,沿用了GPT/LLaMA的基本架构,由于LLaMA社区的开源贡献,让零一万物可以快速起步。零一万物从零开始训练了 Yi-34B 和 Yi-6B 模型,并根据实际的训练框架重新实现了训练代码,用自建的数据管线构建了高质量配比的训练数据集(从3PB原始数据精选到3T token高质量数据)。除此以外,在 Infra 部分进行算法、硬件、软件联合端到端优化,实现训练效率倍级提升和极强的容错能力等原创性突破。这些科学训模的系统性工作,往往比起基本模型结构能起到巨大的作用跟价值。

“在零一万物初次开源过程中,我们发现用和开源社区普遍使用的LLaMA 架构会对开发者更为友好,对于沿用LLaMA部分推理代码经实验更名后的疏忽,原始出发点是为了充分测试模型,并非刻意隐瞒来源”,对此,零一万物提出说明并表达诚挚的歉意,“我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新”。

    关键词: 万物 李开复 模型
    精彩推荐

    时间:24/03/27

    今日晚间,在粉丝的一片欢呼声中,2023王者荣耀世界冠军杯巅峰之战在成都...

    时间:24/03/27

    据央视新闻,欧盟委员会当地时间12月30日称,从2024年起,USB-C将成为欧盟...

    时间:24/03/26

    华为最新业绩情况曝光。12月29日,华为轮值董事长胡厚崑发表新年致辞透...

    时间:24/03/26

    专题 2023年国际财经新闻大盘点在金属交易大体平淡的这一年,镍表现最...

    时间:24/03/26

    热点栏目自选股数据中心行情中心资金流向模拟交易客户端12月29日消息...

    文章分类
    快审网站推荐
    随机网站推荐
    爱美网22/09/02

    爱美网是一个巨大的图库,收集了大量的与图片,搭配,发型,海报,街拍相关...

    dj舞曲分享网站,提供dj舞曲原创作品发布,dj音乐MP3舞曲试听下载,dj舞...

    国语窝22/09/03

    国语窝电影网-影视大全提供的电影大全国语版,国语电影和电视剧均来自...

    322G开服表提供最新网页游戏开服表,页游开服表,今日新开网页游戏.甄...

    帝国战网22/09/10

    帝国时代下载 帝国时代游戏攻略 帝国时代战队 ...

    平凡文学网是广大书友最值得收藏的网络小说阅读网,网站收录了当前最火...

    抽屉网22/09/07

    抽屉网成立于2014 年,由河南黑白电子科技有限公司(简称:黑白科技)独家...

    随着现代人的生活节奏越来越快,已经很少有时间坐下来认真读书了,于是就...

    最言情小说网,提供最新免费言情小说在线阅读及言情小说TXT免费下载服...

    河洛网站22/09/08

    河洛网是网上算命最准的网站,主要项目有:算命、免费算命、算命 生辰八...