VIP小说 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

看到这个标题,你可能会觉得是噱头。谁不知道 chatGpt 模型有 1750 亿以上的参数,别说是在笔记本电脑上跑,就是使用高性能 GpU 的台式机,也无法带得动啊。老老实实调用 ApI 不好吗?其实,LLm(大语言模型)有非常宽泛的参数量范围。咱们今天介绍的这个模型 Gpt4All 只有 70 亿参数,在 LLm 里面现在算是妥妥的小巧玲珑。不过看这个名字你也能发现,它确实是野心勃勃,照着 chatGpt 的性能去对标的。Gpt4All 基于 meta 的 LLama 模型训练。你可能立即觉得不对,你这跟 Gpt 有啥关系?为什么要无端蹭热度?且慢,Gpt4All 确实和 chatGpt 有关 —— 它用来微调的训练数据,正是调用 chatGpt 产生的大量问答内容。我怕你对技术细节不感兴趣,因此只用下面这张图来说明 Gpt4All 的训练过程。??Gpt4All 其实就是非常典型的蒸馏(distill)模型 —— 想要模型尽量靠近大模型的性能,又要参数足够少。听起来很贪心,是吧?据开发者自己说,Gpt4All 虽小,却在某些任务类型上可以和 chatGpt 相媲美。但是,咱们不能只听开发者的一面之辞。还是试试看比较好,你说是吧?深度神经网络由多个层组成。每一层包含处理输入数据并通过非线性激活函数(Sigmoid 或 ReLU)传递给其他层的神经元。每一层的输出会传递给另一层,在传递给下一层进行进一步处理之前,这一层会对这个中间表示进行某种操作。 这个架构可以分为两个主要部分:输入层和输出层。 输入层 - 这表示一组输入,这些输入被送入人工神经网络(ANN)作为训练数据或测试数据,然后由深度学习算法使用,以根据历史信息(例如过去的交易等)预测未来事件 \/ 结果,这一过程使用输入层及其相关权重。 输出层 - 这表示一组输出,这些输出在经过人工神经网络内部的各个层(例如卷积神经网络、循环神经网络或长短时记忆网络)处理后被送回到 ANN 中,然后由深度学习算法使用,以根据历史信息(例如过去的交易等)预测未来事件 \/ 结果,这一过程使用输出层及其相关权重。 深度学习模型的架构可能会因各种因素而有所不同,例如数据类型、特征数量、目标变量或正在解决的分类问题。transformer 是一类深度学习架构,在自然语言处理(NLp)和其他领域中已变得非常流行,这归功于它们强大的性能和可扩展性。transformer 首次在 Vaswani 等人于 2017 年发表的论文 \"Attention is All You Need\" 中被介绍。transformer 基于自注意力机制,这使它们能够捕获长距离依赖关系并在序列中建模复杂的模式。自注意力机制:transformer 的核心是自注意力机制,它允许模型衡量每个输入标记与序列中每个其他标记的关系的重要性。这是通过使用三个可学习的向量实现的,分别称为查询向量(q)、键向量(K)和值向量(V)。自注意力机制计算每对标记之间的注意力分数,然后用于生成值向量的加权和。多头注意力:transformer 使用多头注意力来捕捉输入序列的不同方面。多头注意力层中的每个 \"头\" 都独立执行自注意力,并生成自己的输出。这些输出然后被连接并线性转换以创建多头注意力层的最终输出。看到这里,你可能已经怒了 —— 有这么比的吗?!你拿一个如此精致的小模型 Gpt4All(70b)跟 Gpt-4 这样的大怪物去比。Gpt-4 胜之不武,我为 Gpt4All 鸣不平!且慢恼怒,我想表达的意思是这样的:如果一个模型真的能达到蒸馏浓缩的作用,那么显然体积的显着减小是重大优势,毕竟这意味着训练和应用成本降低,速度显着提升。但如果模型缩小以后在解决问答、解释和编程能力上和大模型相比差距显着,那么我们就不能武断地说小模型「性价比」更高了。有研究证实过在「有人类调教的情况下」,60 亿参数的小模型甚至可以在某些任务上面击败 1750 亿参数的大模型 (ouyang et al. 2022)。只不过,这里的比较并不公平 —— 它指的是小模型有人工调教,而大模型缺乏调教的情况。chatGpt 不缺乏调教,因此我们并没有看到 Gpt4All 能够以少量的参数达到 chatGpt 这么好的性能,即便它充分使用了 chatGpt 的输入输出数据。训练大语言模型时,多大的语料会使得模型对外部世界真实认知产生质的飞跃(可以在各项任务上都有好的表现)?目前的经验是 300 亿单词的输入量 (Zhang et al. 2020)。但是大语料需要足够高的模型复杂度来承载。模型相对输入数据过于复杂固然不好(过拟合,over-fitting)。然而一个太小的模型在面对大数据的时候,也会力不从心(欠拟合)。大和小是需要相对判断的。目前的 Gpt4All 在一众巨无霸面前,无论如何也是个小模型。chatGpt 这样的大语言模型让人们惊诧的地方,在于它能够有自己的「顿悟时刻」。这种「顿悟时刻」如何出现的?现在学术界还在研究中。但是有很多证据指向一些提示语(例如「一步步来」step by step)能够激活大语言模型的 chain-of-thought (思维链),从而有助于解锁「顿悟」般的逻辑推理能力。不过研究者同样证明了,这种「魔法」提示语有效的前提,是模型的参数量需要达到 1000 亿的规模 (wei et al. 2023)。chatGpt 的参数超过了这个阈值,而 Gpt4All 还远得很。当然不是。如果你把 Gpt4All 看成某种终极形态,那么等待你的可能是从激动快速跌落到失望。但是比较一下初代 iphone 和 iphone 4S,你就能感受到短短几年间,技术进步带来的产品性能天差地别。更何况,现在的 AI 进展速度,可不像 iphone 一样「一年一更」。即便从短期来看,Gpt4All 也有其用途。在我们的测试中,它在写作上还是有能力的。Gpt4All 不需要付费调用 token ,也不需要把数据传递到远端进行处理。对有些使用目的(例如保护公司机密数据)而言,Gpt4All 这样的模型出现,关乎的可不只是「好用」与「不好用」,而是「能用」和「不能用」的分水岭。对于很多机构的事务性工作而言,复杂的逻辑推理能力其实只是锦上添花。若是能完美解决日常单项任务,收益也已经十分显着。请你在试用之后,依然对Gpt4All保持一份耐心。也许不久以后,我们每个人的电脑和手机上,都能运行一个随时待命的优秀助理,帮助我们做许多从前想做,但是一想到要做就头疼的任务

VIP小说推荐阅读:都市极品医神叶辰拒绝我表白,咋疯狂爱上我了?沈先生,你的黑心小祖宗回来了迎良人石柱成精世间恶魔皆为我所创我只是个医圣而已盛宴吞噬黑暗法师!我即是天魔明日超凡外卖小哥都市奢华生活重生2000:从追求青涩校花同桌开始大佬压力大寒门崛起之从少校晋升将军超级返现:冰山美人爱上我高武:吾既修罗,杀戮成神娱乐:谁说渔民就不能搞艺术了?父母被杀后,我化身恶魔复仇万古神帝穿越六零,我疯狂点亮技能文娱:以搬运工的名义神瞳弃少妾要休夫:冷情王爷快放手三界时空旁听生emo:开局吐槽前女友暴君的醋坛子又翻了娱乐没有圈:重生影后,狠嚣张爱若繁花盛开重生甜蜜蜜:老婆,乖一点!穿越,我在异世做反派很晚遇见你都市无敌战兵华娱之出道即巅峰盛宠医妃:十九爷,别撩火异虫迷城:触手娘的养育手册重返风华年代时代好青年我扶男二上位后寻锦春穿成恶毒女配后我成功洗白这没名没分的日子我不过了开局被催债,眼睛突然能扫码退婚后,病娇王爷宠我如珠似宝渔夫逆袭:开局救美,渔获满舱古穿今之武戏女王我有一个工业世界土拨鼠拨土重生之重来的话我来到这个年代病娇女总裁爱上我
VIP小说搜藏榜:我不是戏神规则怪谈,我能无限违反规则华夏神兵哪家强,就得看我白发郎纵横港综:你管这叫差佬?我说今夜无神,于是众神陨落香江:王者崛起规则怪谈:全球直播求生神瞳弃少妾要休夫:冷情王爷快放手三界时空旁听生emo:开局吐槽前女友暴君的醋坛子又翻了娱乐没有圈:重生影后,狠嚣张爱若繁花盛开重生甜蜜蜜:老婆,乖一点!穿越,我在异世做反派很晚遇见你都市无敌战兵华娱之出道即巅峰盛宠医妃:十九爷,别撩火异虫迷城:触手娘的养育手册重返风华年代时代好青年我扶男二上位后寻锦春穿成恶毒女配后我成功洗白这没名没分的日子我不过了开局被催债,眼睛突然能扫码退婚后,病娇王爷宠我如珠似宝渔夫逆袭:开局救美,渔获满舱古穿今之武戏女王我有一个工业世界土拨鼠拨土重生之重来的话我来到这个年代病娇女总裁爱上我婚约对象是七位师姐,我要退婚!赐光系列一捻暗女院长的私房高手末世:我靠空间农场娇养女神军团少年特工王乡村神医:树先生护花狂龙圣幕之下:我收到一封信开始空间锦鲤:带着全家穿六零劈天斩神秦时明月之无限打卡陆先生余生请多指教直播之随身厨房
VIP小说最新小说:开局就死,动画片里成至高抗日峰火之铁血川军团开局无限强化,英雄兵种全神级火红年代,我带空间去下乡都重生了,谁还不弥补遗憾?重生:回归的兵王誓言反噬穿剧反派女主说我是她男闺蜜卫我河山反向归来,世界还是那个世界媳妇儿不是从小养的吗?反派小弟:各路女主爱上我守界乡野妙手神医出山当县令?我只是一个猎户啊?高武:我有一座梦境屋斩神:镇魂将弑神,红缨震惊京电最牛明星班那是科研大佬,你管他叫无能赘婿护花兵王:我的总裁大小姐风雨真情天路之幸福到我家被抛弃后我打开了仙界直播间均胜奇迹重生了谁还混社会啊人间如疫花一元返一万,神豪生活快哉快哉地牢求生:从合成臭水开始!雷电无敌?这只是我低调而已重生89:开局手撕无赖亲戚开局强吻校花,觉醒混沌级天赋我欲成仙:尔等皆是蝼蚁成功的方法三界诡运录大山中走出的京圈太子爷离凛夭寿啊!这个老六是时间系!启天云梦书海之外的眷恋异能天下仙术为尊港片:制霸江湖与商界三国杀降临,你们连规则都不懂?九叔:开局加入幼崽聊天群成为神豪后,我的生活很丰富精神病院的灵异秘录通往真相的迷宫失去神力,看我如何翻天倾城系统别人御兽,你被兽御我被病娇女财阀包养了