最近儿子写报告处理sac数据，使用的都是之前为其准备的chromebox，一直运行正常，但昨天晚上到了最后阶段，处理汇总数据的时候，生成的图形是黑的。
首先想到的是Chromebox的性能问题，但查看运行状态无论CPU还是内存都占用颇低；再以为是远程登录问题，但连接显示器，问题依旧，最后感觉是Lubuntu的LXQt桌面问题，于是决定重新安装标准版Ubuntu。
本来处理计算机问题已经习惯了，无非是脑子里一个个分析，然后一个个实际处理。但昨天晚上处理的时候，脑子是乱的，心是慌的。期间接了个电话，电话内容半天插不进去，反应不过来。
千百年来中国人说没有思维功能的心能慌，是有道理的。
本以为事情已经快三周了，自己也已经接受了现实，调整了心态。
看来，还没有，不知道还需要多久。
作者： 512song
大佬登场
早上看到谷歌gemma3推出，使用ollama下载后提示无法运行。
很快ollama就提示系统有升级版本。随后lmstudio也更新版本以适应gemma3。
谷歌是有这个资格和资本的。
如果说面对OpenAI的不可一世，deepseek如陈胜喊出了“王侯将相宁有种乎”，那么谷歌的跟进，就是项梁项羽登场了。
说deepseek是划时代产品，真不为过。
rag将转向依托外部大模型
今天把dify降版本到0.15，系统终于正常运行了。检验了一下rag的效果，也就确认他版本大跃进的原因，就是为了对标RAGflow。
因为新版本无法正常使用，不清楚提升多少，但原先版本的确无法与RAGflow相提并论。
dify升级后的一个功能提升，是通过插件市场，增强了大模型的接口，偏偏就是这个功能导致系统错误连连。在中国，搞插件市场，等于自绝于用户。
同样RAGflow的bug也出现在大模型接口上，虽然为此进行了一次版本升级，却依然没有解决默认模型无法新增ollama的问题。
从这点看，rag系统都在转向依托外部大模型来提升性能。
估计好戏还在后面。
大体量大能量的RAGflow
昨天晚上媳妇微信推荐了一本deepseek的书，这deepseek改变着这个世界，连出书的速度都加速了。
比书更快的是网上的相关视频，deepseek才问世多长时间啊，这段时间内一下子出现了那么多视频，用拥堵形容都不过份。
同样，相关软件、系统也在提速。昨天折腾了一晚的网络红软dify，总是卡在文档解析上，后来看github上回复，是升级到1.0版本后，某个docker镜像存在问题。
真是萝卜快了不洗泥。
今天上午折腾依然无果，于是转向RAGflow。相比dify的2核4G，这个需要4核16G，仅从硬件配置上看就不是一个体量的。而且仅仅安装一个不含模型的精简版，就要近20G的下载量。
下载一个下午后，晚上刚开始测试，简直失望透顶，因为对话中，总是提示知识库未找到答案。
就在准备放弃骂娘时，换了一个方式查询，好家伙，答复的哪是答案啊，简直就是一个全面的总结。
而开始没有回答，估计是系统还在处理资料库中。
可以说，RAGflow不是为AI服务，而是让AI为他服务。
乱花眼的大模型
这几天按照cherrystudio中的模型列表，测试各运营商的大模型，搞得是眼花脑涨。
最后在选择了天翼云的大模型后，选择结束。因为deepseek的优势是全方位，而且碾压式的，选择这么多，只是为了选择一个价格最优惠的而已。
天翼云的优惠力度最大，两周时间2千万的token。他之所以这么大方，因为他是后来者，作为有硬件有带宽的电信运营商，他需要deepseek这个当红明星来吸引用户，就像古代好戏院子找到了头牌大腕一样。
我实在不明白，BAT还留着那些过时的模型干什么，除了让模型列表更混乱，我实在找不到他们继续存活的理由。
这就像突然间AK设计公开，足量供应，你还舍不得汉阳造，抢车间，占仓库。
就像同样眼花脑晕的儿子说的：这deepseek自己在进步啊。
满意的rag测试
之前测试rag，我使用的材料是《三国演义》的文本文件，即便是deepseek推出后，效果仍然不是非常满意。
这几天分析，除了《三国演义》本身是文言白话混杂的作品，给AI的分词、理解提高了难度。还有一个重要原因，那就是《三国演义》太有名了，AI在训练过程中，难免被污染，所以才会在出现“关公骂王朗”的“本能性”回答的笑话。
于是决定改变一下案例，使用真正私有的文件，也就是对AI全新的资料进行回答。
敝帚自珍，这次选择的资料库是我完成许久的小说。从简书按章节导出后修改为升序文件名，以目录的方式导入知识库。
指定知识库后，使用deepseek-r提问，从分析到回答，已经不再夹带私货，完全按照原作进行回答，但理解能力还是有问题。
总结一下，应该是我虽然修改了文件名，但AI读取文件时，并未按小说的时间线进行分析。
多文件不行，就把多文件生成一个markdown文件让AI理解。在AI的辅助下，编写了一个程序，将多个网页中的内容采集后合并到一个文件中。
这次，AI给出了优异的答案，理清了人物关系，并在此基础上进行了人物情感分析。
这次使用的模型是硅基流动的，相比其他运营商“Token大赠送”的扭扭捏捏，硅基流动赠送的直接是免费券，而且界面简单明了。满意之余，顺手充值了10块钱，以作奖励。
回想一下，两周过去了，能够费脑子写新代码，这事情算是真的过去了。
举足轻重的向量化
昨晚躺下后脑子里也是关于rag的问题。
早上起来查了一下相关资料后，确认之前遇到的本地资料库效率，应该与向量嵌入模型有很大关系。
于是开机重建资料库，使用硅基流动的免费嵌入模型，对同一文章进行向量化导入，然后使用同一qwq模型询问同一问题。
果然，这次不但问题的答案准确，而且推理过程也精简高效了很多。
目前硅基流动的向量化服务有免费、收费两种，而腾讯是按照token收费，看来这个业务需求量还是不小的。
时间宽裕，收获满满
收获满满的一天，甚至是有所突破的一天。
因为要等报表反馈，有足够无聊的时间需要打发，而折腾计算机需要这种整装的时间。
因为此前anythingllm升级版本反而弱智的情况，也验证了我的一个猜测：rag除了足够强大的大模型逻辑支持，还需要资料库的可靠性。而版本升级与外部模型无关，那就跟内嵌模型和向量数据库有关了。
于是将内嵌模型更换为BGE-M3，效果并不明显，果断将anythingllm切换回cherrystudio，效果果然提升，同时结合deepseek的推理过程，发现他是读取向量数据库中被分解的资料进行分析。
在验证我推测的同时，也算是给cherrystudio平反了。
不过ollama提供的BGE-M3模型对中文支持并不好，这也是网上渐渐不推荐ollama的原因。
将部署软件切换到lmstudio，这样就可以更自由地选择各种模型。
只是办公室的网络，真是一言难尽。
阿里跟进deepseek
早上看新闻，阿里推出了千问新大模型，号称性能比肩deepseek。当时还以为是标题党，谁知道他对标的是deepseek的哪个版本。不过细看文章中图表，原来冤枉作者了，他对比的就是deepseek满血版。
下午做报表的时候，看到ollama已经发布了qwq模型，19G大小，而所谓消费级显卡就能运行，指的也是4090D这样32g显存的显卡。
下载模型过程漫长，天黑就没有关机下班。回到家开机检查，模型已经下载完成，运行一下，在A6000显卡的服务器上，回答质量虽然不能与deepseek相比，但速度是嗖嗖的。
看来针对deepseek这个新入局者，相比腾讯的归化策略，阿里是准备下场竞技了。
本地部署deepseek的rag任重道远
今天抽空测试了一下本地部署deepseek的rag性能，或者说可靠度。
测试的依然是那个问题：”《三国演义》中身长七尺，细眼长髯的是谁？”
出乎意外的是，通过Python的相关库操作deepseek的32b模型，情况糟糕如故，一会诸葛亮，一会关羽的。
后来转到Windows下的客户端，cherry studio功能基本是摆设，而anythingLLM则表现亮眼，在调整了内嵌模型的参数后，deepseek7b连续给出了简要明确的答案。
就在高兴之余，看到客户端右上角有个升级按钮，便进行升级期待其有更好表现。
谁知经过漫长的下载安装后，anythingLLM新版本变弱智了，开始胡说八道，竟然还给我生造出一个三国名医出来。
果然如我所料，大模型的RAG任重道远，而且与内嵌模型及向量数据库的配置、管理有着重要的关系。