早上看新闻,阿里推出了千问新大模型,号称性能比肩deepseek。当时还以为是标题党,谁知道他对标的是deepseek的哪个版本。不过细看文章中图表,原来冤枉作者了,他对比的就是deepseek满血版。
下午做报表的时候,看到ollama已经发布了qwq模型,19G大小,而所谓消费级显卡就能运行,指的也是4090D这样32g显存的显卡。
下载模型过程漫长,天黑就没有关机下班。回到家开机检查,模型已经下载完成,运行一下,在A6000显卡的服务器上,回答质量虽然不能与deepseek相比,但速度是嗖嗖的。
看来针对deepseek这个新入局者,相比腾讯的归化策略,阿里是准备下场竞技了。
分类: IT天地
本地部署deepseek的rag任重道远
今天抽空测试了一下本地部署deepseek的rag性能,或者说可靠度。
测试的依然是那个问题:”《三国演义》中身长七尺,细眼长髯的是谁?”
出乎意外的是,通过Python的相关库操作deepseek的32b模型,情况糟糕如故,一会诸葛亮,一会关羽的。
后来转到Windows下的客户端,cherry studio功能基本是摆设,而anythingLLM则表现亮眼,在调整了内嵌模型的参数后,deepseek7b连续给出了简要明确的答案。
就在高兴之余,看到客户端右上角有个升级按钮,便进行升级期待其有更好表现。
谁知经过漫长的下载安装后,anythingLLM新版本变弱智了,开始胡说八道,竟然还给我生造出一个三国名医出来。
果然如我所料,大模型的RAG任重道远,而且与内嵌模型及向量数据库的配置、管理有着重要的关系。
元宝免费的代价
早上看新闻,有不少文章在声讨腾讯,起因是腾讯免费的元宝《用户协议》中的第5.4款。
这个其实这个条款已经是修改过的,现在等于是:你上传的内容,所有权是你的,但我可以用;我反馈的内容你可以用,但所有权是我的。
也算公平合理。腾讯什么时候做过赔钱的买卖。
原先是爬虫在网上搜资料,现在高质量的资料自己送上门来。
恨得牙根痒痒的,应该是曾经搜索、AI都曾绝对领先的百度了。
RAG真的可行
这一个多月来,因为deepseek的火爆,一度沉寂的RAG也在短视频、论坛平台又重新热闹起来。
我把上次测试的文本重新导入向量数据库,使用阿里的deepseek-v3为引擎,重新进行查询。
这次的效果完全超出我的预期。deepseek给出的回答丰富而准确,因为这些资料涉及比较小众,为防止deepseek自作主张,我又将它给出的答案,在我提供的原文中进行搜寻核实。结果,deepseek的确是在总结了原文的基础上进行了再加工。
而且,这还是用英文内嵌模型进行的处理,中文专业术语并不十分精确。
这才是真正的RAG。
利益的拖累
昨晚临睡前在搜狐看到百度搜索全面接入deepseek的简要新闻,当时还特意搜索了一下别的新闻网站,并没有相关新闻。今早上大多IT媒体都进行了相关报道。
我关注的是标题省略的重点,接入的不止是deepseek,还有文心大模型。也就是说,百度并没有放弃自家掌控权。
在ChatGPT问世后,百度本是国内领先者,但之所以现在成为泯然跟跑者的原因,就是百度总是舍不下自己的既得利益——搜索业务。其实从百度之外的人都明白,百度搜索也就那么回事,而且,也就那点事。
当今,曾经利益有多大,拖累负担就加倍的大。
又一条起跑线
今天整理目前可用的deepseek应用时,发现在云服务器平台上找到他们都挺麻烦的,需要在一大堆大模型应用中查找鉴别。
也难怪,虽然现在国内大的云服务器平台都推出了deepseek服务,但都有各自的当家大模型,如阿里有千问,腾讯有混元,百度的则是文心一言。虽然deepseek如宝刀屠龙横空出世,技压群雄,但各门派,哦,各平台还是舍不得自家的那些独门秘籍。
当然,这也与开源协议有关,但技术是开源的,数据却是自家的。现在如果还舍不得那些瓶瓶罐罐,首鼠两端,百度就是最好的例子。
如果现在有后来者能够并力一向,打造以deepseek为基础的云平台,当能无负担地占得先机。
就如当年《第三次浪潮》书中所言,又一次,“穷国与富国站在同一起跑线上”。
大模型比着劲免费
在返程的火车上,看到苹果选择阿里作为国内AI合作者的新闻,显然苹果看重的不是阿里的千问,而是他运作deepseek的能力。
正盘算着测试阿里运行deepseek的速度,媳妇发来一个新闻,腾讯前几天也开始免费测试其deepseek大模型平台。而且相比其他平台赠送的百万token,腾讯是直接免费至2月25日。
这天大的便宜怎么能错过,进门后第一时间就给儿子安装调试,他用腾讯加cherry stadio,我那边也开机测试阿里云搭配chatbox。
测试一下午,无论是专业应用,还是业余娱乐,效果都是颠覆了我们之前的认知。
再次惦记Mac mini的M4
去年底苹果Mac mini的m4版本推出的时候,国家补贴后的价格不到3000元,当时有些心动,外甥如果不是已经有了两台Mac设备,估计直接动手了。也因为如此,所以一直鼓动我买。
最后因为Mac系统是通过OpenCL运行katago,性能无法发挥而作罢。
今天看到一个介绍本地部署deepseek的视频,里面使用的是Mac mini M4跟4060独显机。通过运行token/s值比较,M4还是低于4060的。这并不意外,不过考虑到价格,M4性价比无疑更高。
网上现在本地部署deepseek的视频已经泛滥,但脱离开硬件配置,离线版的deepseek性能只能属于玩具级,这难免有误导之嫌。
为Deepseek搭台
今天看到百度智能云提供deepseek服务,曾经国内领跑者沦为后辈的跑马场。
不止百度云,提供deepseek收费服务的还有华为和阿里云,阿里云更为滑稽一些,提供的模型是自家千问的7B蒸馏版。
此前看到国外评论,deepseek与其他AI服务商的区别,是自建服务器,而非使用云平台。百度等提供云服务平台,相当于补上了deepseek的短板。
不过这些云平台此举决非什么国家利益至上,除了赚取服务器租用费,应该有自己的盘算,那就是如我最初接触ChatGPT时评论那样,通过deepseek获取用户数据,进行进一步,甚至是定向的蒸馏。
春节期间看到过一个评论,感觉很有道理。那就是AI,人工智能,最终还是要像人。
否则那就是非我族类,其心必异。
关于“偷窃”的猜想
今天看新闻,不出所料,美国开始指责deepseek是“偷窃”,并正对其影响开展国家安全调查。
去年openAI曾经中止了对中国提供的API服务。当时讨论的时候,认为主要是针对国内那些挂羊头卖狗肉的套壳收费GPT,就是那些只是提供前端用户界面,后端都是通过ChatGPT的API接口接收,发送,返回数据。
现在看来,OpenAI是怀疑当时deepseek也参与其中,使用ChatGPT进行训练模型,等于通过RAG构建了高效的模型。
如果此猜想为真,这倒是验证了我最新的思路是可行的。