在vscode将我的混元免费百万耗光后,我终于下定决心转到Trae了。
原先总觉得Trae就是一个集成了AI插件的IDE,这次投奔它,最为看重的是整体内置的大模型–DeepSeek 满血版,而且是无限量免费使用。
折腾了近一天,基本能够可以满足工作需要。只是作为开发环境,相比轻量精简得完全不像微软产品的vscode,Trae一启动就让我那华硕老机器的CPU和内存都满载了。
而且在安装测试了MCP后,感觉这满血deepsea也是有水分的。我只是通过fetch抓取了一个京剧戏考的剧本网页,大模型居然提示我“网页存在敏感内容”,害得我白白浏览了几遍也没看到什么历史糟粕。
而这个测试网页,无论是混元,还是deepseek,哪怕是蒸馏版的千问7b版,都没有类似提示。
看来我的猜测是对的,我们在免费使用厂商提供大模型的同时,也在被监控和利用。
分类: IT天地
近期RAG心得总结
昨天躺下后,一时睡不着,脑子里又结合近来的学习,把那个关于MCP视频过了一遍,算是一个总结。
视频中是认为MCP是为了解决RAG的功能缺陷的,它主要的缺陷通过最近实验检测,发现是难以通过自身升级解决的。
一是RAG中资料是平铺,离散的,缺少关联,更没有顺序,这就如此前所说,根本不适合小说类资料。
二是RAG过于依赖向量数据库,而资料在导入数据时,是通过内嵌大模型进行切片的,而资料被切片属于无差别分割,虽有重合设置,但难以保证数据完整性、关联性。
三是RAG中各资料库间缺少关联,合则繁冗,分则无序。
最后,就如UP主推荐的数据库替代方案所承认的缺陷那样,太耗费大模型的tokens了。
最终解决方案,还是以大模型为主,资料库为辅,甚至可以说,就是让资料库为大模型服务。
学而实践,踩坑MCP
今年以来,已经慢慢习惯通过视频学习计算机技术。怎么说呢,总感觉越容易的表达方式,往往越随意,而且出口容易修改难,甚至是懒得修改。
下午看了一个介绍MCP在MongoDB数据库上的应用。其中印证了不少自己之前的的观点,而最后up主也承认,现在MCP还存在很多问题需要解决。其实总结一下就是:太过依赖大模型。
本来,这MCP最早就是anthropic推出的,绕不过去的。
看完视频,通过vscode测试了一下mcp的网页爬取,问题颇多,最后把我腾讯混元的免费额度都用光了,也没有成功。
看来不止是绕不过去,感觉还是一个流量陷阱。
知识库重中之重
自从换了办公地点后,跟外甥技术交流少多了。前几天他网上提到他现在使用的Trae,其新版本已经开始支持自建文档集了。
而我最近在测试的几个系统,版本频繁更新,几乎也都与知识库相关。连最近开始使用的obsidian,也在官方从笔记系统自诩为 扩展知识库。
当然,这些都是离不开外部AI大模型的支持。
同样,大模型开发商应该也不甘只为他人做嫁衣,将知识库纳入到大模型管理之中已经是必然,ChatGPT的全面记忆功能,只是第一步。
虽然如此,我还是看好知识库的自建,在信息泛滥的时代,知识库的专业性和准确性是立足之本。
人形机器人,还是“将来”
昨天评论人形机器人半马比赛,是无聊且无知,主要是针对把这个放到竞技比赛中,而且还非要取成绩分名次。
既然是比赛,属于竞技范畴,就要有规则,规则是保证公平而设,哪怕是相对公平。
而昨天的比赛,毫无公平性可言,那机器人外形上高的矮的,电池有强有弱,比赛中螺丝刀时时抢镜。即便是那个“众望所归”的冠军机器人,也是在人的全程簇拥下完成比赛的。这岂止是不公平,简直不避讳作弊之嫌了。
所以刘慈欣说的是,“将带来”,至于什么时候,还早。但不排除deepseek那样的横空出世,但这不是央视这类媒体所能认知的。
AI时代的RAG是个人的中心
现在科技圈的标题党已经不亚于娱乐圈了。
ChatGPT 升级的所谓记忆功能,引用用户所有的历史对话,无非就是ChatGPT自建的用户RAG。
早年吐槽亚马逊电子书针对用户定价的短小说中,我曾幻想将来服务商由虚拟客服机器人为每个用户服务。
现在其实已经可以实现了,那就是为每个用户建立独立于大模型的类RAG数据库,然后由大模型根据用户的数据提供更为精准的服务。
这也是我认为在AI时代,RAG对个人用户而言是重中之重的原因。
http://ChatGPT的这个更新 竟然让奥特曼兴奋到睡不着觉
https://news.mydrivers.com/1/1041/1041285.htm
权宜之策MCP
清明放假前,就看到网上热炒MCP服务,什么给AI大模型插上翅膀,是连接大模型与各项服务的桥梁。
看到那种网上似乎一个模子刻出来的文章,我总是持有怀疑态度。使用cherrystudio安装基本的网页抓取服务工具,总是提示网络错误,也就作罢。
今天cherrystudio跨版本号升级,其中变化比较大的就有MCP设置,增加了国内的安装源,使得mcp服务得以顺利安装。
测试了一下,感觉以前的确不是多疑了,这个更像是一个供AI识别的脚本而已,指定AI执行某项或者几个组合任务。更关键的是,它仍然受到AI性能的制约,这跟rag是一样的。
如果AI足够强大,这个真是有些画蛇添足了。他只能算是AI发展过程中的一个权宜工具而已。
略有失望的M4
今天到办公室,看到了上次国补加学补购买的苹果M4版mini。虽然到货掩码的时候开封见过真机,但放在办公桌上看,还是比想象中要大。
跟M1一体机一样,通过brew下载安装了katago,只是这次运行的权重是28B而非18B。结果很是失望,依然是OpenCL版本的katago运行benchmark可谓是龟速,初步结果看,远不如TensorRT下3050的表现。
这也难怪,这就像马拉车在不同赛道比试。只是意外的是,运行28B权重速度要如此落后于更轻量级的18B。而昨天看新闻,32G内存M4机器运行deepseek14B要大大快于32B,而katago对显存要求并不高。
虽是小众个例,但苹果芯片要有大的作为,路还很长,也很难。
RAG好搭档混元turbos
混元T1推出的时候,通过新闻稿链接到他的测试网页,默认的模型并不是T1,而是turbos。
据说二者引擎不同,但测试了几天,二者差距不大,但价格差了一倍。同样百万tokens混元turbos输入只要8毛,输出2块,应该是收费模型中最便宜的了。
当然无论是T1还是turbos,在回答准确度上都无法与deepseek相比,还处于时不时关公战秦琼的水平上,但对于rag而言逻辑性能上已经堪用。
而且,更关键是,与知识问答相反,rag的tokens使用量,是输入数倍于输出。
由此看来,混元turbos是rag模型引擎的性价比最高的选择。
越来越强的cherrystudio
今天开机照例打开cherrystudio先检查版本升级,终于看到了新的版本升级。
升级排在第一位的,是的知识库新增了重排模型,也就是rerank,这是提升知识库准确性的一大保障。
其次就是增加了自定义服务商兼容模式,在支持deepseek越来越多的情况下,cherrystudio就不用像原先版本那样出一个,新增一个模型供应商的模块了。
本来我是期待新增混元T1,这样不用再等了。
现在看,cherrystudio是越来越强了。