元语智能发布的一系列支持中英双语的功能型对话语言大模型,在微调数据、人类反馈强化学习、思维链等方面进行了优化。
TigerBot是一个多语言多任务的大规模语言模型(LLM)。TigerBot致力于开源,目前已经开源的成果包括模型(TigerBot-7B,TigerBot-7B-base,TigerBot-180B)、基本训练和推理代码、数据、API、领域数据等。另外TigerBot还致力于不同类型的插件研发,目前已经推出的代表性的插件有“TigetBot Search”。随着不断的研发,TigerBot还会为人们带来更多的便利与科技体验。
深圳元象科技自主研发的支持多语言的大语言模型,使用主流 Decoder-only 的标准Transformer网络结构,支持 8K 的上下文长度(Context Length),为同尺寸模型中最长,构建了 1.4 万亿 token 的高质量、多样化的数据对模型进行充分训练,包含中、英、俄、西等 40 多种语言,通过精细化设置不同类型数据的采样比例,使得中英两种语言表现优异,也能兼顾其他语言效果;基于BPE算法使用上百GB 语料训练了一个词表大小为100,278的分词器,能够同时支持多语言,而无需额外扩展词表。
中文领域效果最好的开源底座模型之一,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持
该项目专注于Llama2模型在中文方面的优化和上层建设,基于大规模中文数据,从预训练开始对Llama2模型进行中文能力的持续迭代升级。
开源了基于BLOOMZ和LLaMA优化后的一系列模型,同时包括训练数据、相关模型、训练代码、应用场景等,也会持续评估不同训练数据、训练算法等对模型表现的影响。
书生·浦语是一款由多家知名机构联合发布的千亿级参数AI大语言模型。在知识掌握、阅读理解、数学推理和多语翻译等多个任务上表现卓越,是AI语言处理领域的新里程碑。