翻身猫AI:鉴定AIGC生成内容的AI含量检测

支持5000万tokens!百川智能用搜索增强给企业定制化下「利器」,解决百分之99企业定制需求

ChatGPT最初发布算起,虽然大模型的热潮已经持续了一年多,但大部分时间依然停留在学术前沿和技术创新层面,深入具体场景实现产业价值的案例并不多见。

比如一些公认的难题,如幻觉、垂直领域知识难获取、数据时效性不够、无法预测的数据集、分词器依赖、高推理延迟、有限的上下文长度、微调开销成本等,还未解决。

在这种情况下,该如何破局?

12 19 日举办的Baichuan2 Turbo系列API发布活动上,百川智能创始人、CEO 王小川给出了答案:

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

百川智能正式开放了基于搜索增强的Baichuan2-Turbo系列API,包含Baichuan2-Turbo-192KBaichuan2-Turbo

该系列API不仅支持192K的超长上下文窗口,还增加了搜索增强知识库的能力,所有用户均可上传特定文本资料构建自身专属知识库,根据自身业务需求构建更完整、高效的智能解决方案。

 
FORESTRY
增强搜索
大模型的外挂硬盘

 

LLM大模型落地时存在一些问题:幻觉,回答不准确;时效性差,知识无法及时更新;专业知识不足,垂直落地门槛高等。

百川智能给出的解决方案是:长文本大模型+搜索增强,让模型能获取互联网实时信息,也能接入企业完整知识库。

「大模型是新时代的计算机」是业内常用的比喻,上下文窗口是模型能力的内存,而王小川认为,「搜索增强」是大模型的「硬盘」,将互联网实时信息和企业知识库像硬盘一样即插即用,「外挂在计算机上」。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

现在,你可以直接甩给Baichuan2-Turbo-192K五个公众号文章的链接 ,让它总结出这些爆款文章的共性。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

1828k的特斯拉22年第四季度财报会议总结拖进Baichuan2-Turbo-192K,可以让它一次性输出会议纪要,包括财务业绩和市场需求、产品和技术发展、企业战略和未来规划等等。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

长达51k的商品房买卖合同,出卖人、买受人、建面、价格等重要元素,可以按JSON格式输出。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

连申请CS PhD,都可以直接把三个学校的官网地址发给它,Baichuan2-Turbo-192K会快速整理出申请Stanford CMUMIT CS博士的具体要求。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

Baichuan2-Turbo-192K可以最多上传20个文件,每个最多50M。相比之下,Claude最多能传5个文件,每个文件最多10M

经过百川智能算法团队的测试,搜索增强+长文本+大模型的方案,能够接入5000tokens的数据集,比模型本身的context window提升「两个数量级」,实现 95% 精度的回答。

搜索增强知识库能够替代绝大部分企业个性化微调,解决 99% 企业知识库的定制化需求。

 

FORESTRY
LLM商业落地
为什么那么难
自从ChatGPT问世以来,大模型已经红火了整整一年。但在商业落地这块,却还没有实现非常理想的效果。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

至于原因何在,我们不妨先更全面地了解一下「大模型」落地应用,到底是什么样的。

今年11月,OpenAI著名科学家Andrej Karpathy提出了一种全新的理念——「大模型操作系统」。

无独有偶,百川智能也有类似的认知,认为大模型时代的计算机主要包含以下几个部分:

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

其中,大模型类似于「CPU」,通过预训练将知识内化在模型内部,然后根据用户的Prompt生成结果;上下文窗口可以看做是「内存」,存储了当下正在处理的文本;

互联网信息与企业知识库则共同构成了这个系统的「硬盘」。

当我们把它类比成最常见的计算机之后,商业化难的原因就显而易见了。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

作为CPU的大模型基于Transformer架构打造,是一种在海量数据上预训练的概率预测模型,以参数的形式将知识内化在模型内部,道不清说不明,而且通用大模型在预训练过程中它给长尾知识分配的权重比较小。

对于一些非常重要但数据量很小的知识,它虽然也会内化到模型中,但是在输出时并不会给太大的权重,因此存在幻觉、时效性差、专业知识不足等先天缺陷。

而互联网信息与企业知识库存在「硬盘」里,如果大模型既没有在训练时学会,又不能随时访问,那么就一定会出现专业知识的空白。

 

FORESTRY
避免项目化
API产品解决定制化需求
王小川表示,搜索增强最大的目的不是解决幻觉问题,而是解决「可定制化」问题。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

前搜狗 CMO,目前担任公司联创、联席总裁的洪涛在 8 月加入百川智能,负责商业化

在商业化线索沟通中,洪涛发现,前期很多客户「想了解大模型,很多人来问大模型到底是什么,能干什么」。

而最近两个月,客户的问题越来越具体,「已经有一些场景感受到能用大模型了,但是解决的时候比较痛苦,最基础的是微调,狠一点的 SFTPost-Training 都会提,但这些其实很『重』。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

通过SFTPost-Training的方式训练行业模型,需要企业具备一定的大模型技术人才

需要一定量的算力和时间成本,并且一旦出现数据更新,或者基座模型升级的情况,都需要重新训练。

核心还是成本,客户成本高,项目利润低。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

「相对能盈利的toB公司,卖的大多是『产品』,而大多数定制化是『项目』,」洪涛说,搜索增强的完整技术栈,目的就是让API外挂企业知识库实现「定制化」,是一款产品,可配置、可调整。

他举了Oracle的例子,各种产品的组合提供解决方案,而不是单独开发一个数据库。

「我们也希望在为私有化客户做定制化的时候,用产品组合的方式来做,而不是用全都重新开发一遍的方式做。」洪涛说道。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

王小川进一步阐释称,所谓定制化,customize,更准确地说是个性化,客户天生有「个性化」的需求。

百川希望避免的,是「项目化」,「用产品化取代项目化,是指产品具有定制化的能力,能够实现企业的低成本定制。企业可以把知识库对接,避免做成项目,客户成本很高。」

短短一年间,大模型的发展超乎人们的想象。

我们曾经展望「行业大模型」能够带来千行百业的生产力释放,但行业大模型受到专业技术人才和算力支撑等因素制约,更多中小企业更无法在这波大模型浪潮中收获红利。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

由此可见,走出「从产品到落地」这一步,的确比当初的「从技术到产品」更难。

在轰轰烈烈的百模大战到定制化大模型的比拼中,技术经历了一轮又一轮迭代,从最开始基于预训练做行业大模型、基于后训练或 SFT 做企业专属模型。

到之后利用长窗口、向量数据库等技术开发专属定制化模型,虽然都推动大模型离理想中的「全知全能」更近了一些,但在广泛行业垂直场景中的应用落地还无法真正实现。

《支持5000万tokens!百川智能用搜索增强给企业定制化下「猛药」,解决99%企业定制需求》- 投稿作者:探我 - 发布于:GetAI社区

百川智能打造「大模型 + 搜索」技术栈,在凭借长窗口提升模型基础性能的同时,利用搜索增强更高效、全面地连接领域知识和全网知识,提供了一种更低成本的定制化大模型之路,率先迈出实现「全知」的一步。

我们有理由相信,这将引领大模型产业落地走向全新阶段。