收获满满的一天,甚至是有所突破的一天。
因为要等报表反馈,有足够无聊的时间需要打发,而折腾计算机需要这种整装的时间。
因为此前anythingllm升级版本反而弱智的情况,也验证了我的一个猜测:rag除了足够强大的大模型逻辑支持,还需要资料库的可靠性。而版本升级与外部模型无关,那就跟内嵌模型和向量数据库有关了。
于是将内嵌模型更换为BGE-M3,效果并不明显,果断将anythingllm切换回cherrystudio,效果果然提升,同时结合deepseek的推理过程,发现他是读取向量数据库中被分解的资料进行分析。
在验证我推测的同时,也算是给cherrystudio平反了。
不过ollama提供的BGE-M3模型对中文支持并不好,这也是网上渐渐不推荐ollama的原因。
将部署软件切换到lmstudio,这样就可以更自由地选择各种模型。
只是办公室的网络,真是一言难尽。
阿里跟进deepseek
早上看新闻,阿里推出了千问新大模型,号称性能比肩deepseek。当时还以为是标题党,谁知道他对标的是deepseek的哪个版本。不过细看文章中图表,原来冤枉作者了,他对比的就是deepseek满血版。
下午做报表的时候,看到ollama已经发布了qwq模型,19G大小,而所谓消费级显卡就能运行,指的也是4090D这样32g显存的显卡。
下载模型过程漫长,天黑就没有关机下班。回到家开机检查,模型已经下载完成,运行一下,在A6000显卡的服务器上,回答质量虽然不能与deepseek相比,但速度是嗖嗖的。
看来针对deepseek这个新入局者,相比腾讯的归化策略,阿里是准备下场竞技了。
本地部署deepseek的rag任重道远
今天抽空测试了一下本地部署deepseek的rag性能,或者说可靠度。
测试的依然是那个问题:”《三国演义》中身长七尺,细眼长髯的是谁?”
出乎意外的是,通过Python的相关库操作deepseek的32b模型,情况糟糕如故,一会诸葛亮,一会关羽的。
后来转到Windows下的客户端,cherry studio功能基本是摆设,而anythingLLM则表现亮眼,在调整了内嵌模型的参数后,deepseek7b连续给出了简要明确的答案。
就在高兴之余,看到客户端右上角有个升级按钮,便进行升级期待其有更好表现。
谁知经过漫长的下载安装后,anythingLLM新版本变弱智了,开始胡说八道,竟然还给我生造出一个三国名医出来。
果然如我所料,大模型的RAG任重道远,而且与内嵌模型及向量数据库的配置、管理有着重要的关系。
元宝免费的代价
早上看新闻,有不少文章在声讨腾讯,起因是腾讯免费的元宝《用户协议》中的第5.4款。
这个其实这个条款已经是修改过的,现在等于是:你上传的内容,所有权是你的,但我可以用;我反馈的内容你可以用,但所有权是我的。
也算公平合理。腾讯什么时候做过赔钱的买卖。
原先是爬虫在网上搜资料,现在高质量的资料自己送上门来。
恨得牙根痒痒的,应该是曾经搜索、AI都曾绝对领先的百度了。
真切的梦
昨晚做了一晚漫长的梦,情节惊悚,场景熟悉,人物真切。
真希望醒来后的一切只是一个梦。
续费咪咕中超会员
花了168块钱,把咪咕今年的中超联赛会员买了。
去年是有史以来看中超比赛最多的一年,咪咕视频陪伴了我焦虑的一整年,还有那忙碌的五个月古籍点校。
168这个价还算公道,虽然网页一场比赛下来要崩溃个两三次,而且还没有画中画小窗功能,但好在三端可用,只要电视安装了客户端也可以观看,这就比大部分会员收费良心多了。
好在今年咪咕解决了小窗问题,可以边干文字工作边开小窗看直播了,虽然现在一心二用的能力已经衰减大半。
希望今年是轻松的一年。
庸帅久尔杰维奇
当年世界名帅安蒂奇执教鲁能泰山的时候,被球迷起了个安混子的外号。
再后来泰山宣布巴西人梅内塞斯担任新赛季主帅的时候,有关注巴西联赛的网友评论:又一个安混子。
果然,那是泰山离降级最近的一个赛季。
混子教练的特征就是,我训练好了,选好首发球员了,那么球员就要在场上按照我的要求比赛。踢不好,那是球员贯彻教练战术的问题。
说白了,就是到了场上听天由命,只希望对手也是按照我的战术踢。
混子难听点,好听点就是庸帅。
留着替补名额下崽的久尔杰维奇,就是典型的庸帅。
戒短视频已经两天
去年底儿子考试结束后,我叫花子咬牙,发了不少誓,许了几多愿。过年其中最新的一个誓,就是成绩出来后把短视频戒了。
这次提前了,已经两天没看短视频了。
我看短视频历史并不长,21年有同事提醒我,抖音上有儿子高考第一个跑出考场的视频,我才首次安装了抖音。
而其后刷短视频成为习惯,是24年。
而戒掉短视频念头的诱因,是前几天的泰山亚冠退赛风波,而起因是春节期间的一次小聚上,某人在我们推荐某个视频时,一脸淡定的说:他从来不看短视频。
他说他不看,我信,也信他以后也不会看。
古人言益者三友,见贤思齐,自有道理。
从另一角度看李轩豪状态的波动
2月20日,第26届农心杯世界团体赛第13局,韩国主将申真谞轻松击败中国副将李轩豪,实现农心杯个人跨届十七连胜。
本局可谓申真谞完胜之局,已经没法再用双工对决来搏眼球。
李轩豪延续了今年的低迷状态,无力且无心。
每当李轩豪输棋,网上直播评论区都是一片老生重谈的质疑声。
作为一个纯爱好者,我没有评论李轩豪的资格。但通过这几年使用爱犬对李轩豪棋局的分析,我想从另一个角度分析一下李轩豪状态的起伏。
李轩豪就像一个重点中学勤奋努力的学生,没有学霸的天赋,凭借自身努力,在考试中也能脱颖而出,但要让他总结自己的学习经验,估计他自己都有些茫然。
一旦成绩下滑,质疑他的不止是同学、家长,估计也有他自己。
从农心杯这两局来看,无论胜败,李轩豪都有点诸葛丞相《后出师表》中“然不伐贼,王业亦亡;惟坐待亡,孰与伐之?”的沮丧之气。
如果实在不知道如何是好,那就继续努力吧。
山东人窝火的一天
很窝火的一天。
今天下午算是真正见识到什么叫“哑巴吃黄连,有苦不能言”,“打掉了牙往肚里咽”。
也是把山东人的脸都丢尽了。
我曾经评论过,知识得到的越便捷,往往就是越廉价,甚至可以说越垃圾。
当年看报纸,听广播,只知道那叫“光州起义”,现在怎么到了网上短视频,就成了“光州无限制格斗大赛”了?
脑子去哪了,良心去哪了?