混元T1,进取还是妥协

前天跟外甥吃饭的时候,还夸腾讯识时务,在deepseek国内君临天下的时候,大出血推出免费的腾讯元宝抢占市场,下一步可能要依托deepseek做经营商和内容商了。
这其中一个原因,就是腾讯自家的混元起步晚,性能达不到预期,与其舍不得抱着占地方,不如清理瓶瓶罐罐大干一场。
早上看到了昨天混元T1模型开放的新闻。看来腾讯还是舍不得啊。舍不得的不止是巨大投入,还有扯不清的内部利益。
试了一下,速度是真快,现在快似乎已经成为一种趋势。但内容仍然拉胯,回答的内容多而杂乱,夹杂着睁眼说瞎话。跟gemma3可以拜把子了。
又到产品介绍看了一下,内容依然混乱而滞后,并没有及时更新T1的最新价格。看来腾讯内部协同还是存在问题。

初识语音转文本模型

早上媳妇发了一个微信科普视频,让把里面的语音转出文本文件。
媳妇安排的活自然要重视,好在又是上报年报,有的是等候反馈的时间。
先用obs把视频中的声音抽取出来,然后到网上搜了一下在线视频转文本的网站,都不靠谱,要么是有时间限制,要么是胡说八道。
于是下载了buzz,开始选择默认的base模型,转出的文本是繁体中文,但可用。
工作要认真负责,何况是媳妇安排的,把文本文件转换为简体后,又对照着视频重新校对一遍。
给媳妇发过去后,感觉哪里不对劲,现在文本转语音都这么成熟了,反向转换效果不应该这么差。到网上搜索一下,这buzz是基于OpenAI的whisper模型的,而whisper模型光看体积就知道性能差距不小,换成medium后,转换过程中就能识别专业术语,并且自动添加标点符号了。
至于large模型,换了机器再说吧。

强大过头的ragflow

大模型领域现在都在卷,今天再测试rag,发现无论是dify还是ragflow都进行了版本更新,修正了上次测试时的明显bug。
相比而言,ragflow的更新更为关键,保证了大模型的正常调用,而dify如没有大的改进,几乎更没有竞争力。
上学的时候,语文最头疼的不是作文而是文章分析,什么这段文字表达了作者什么思想,这处描写对全文有什么作用,等等等等。当时同学们间就嘀咕道:文章给作者,估计答案都未必及格。
这次轮到我自己了。
ragflow在deepseek的加持下,把我那20万字的文章分析的那个透彻。看到分析的头头是到,条理清楚的文字,我也不禁怀疑:我有那么想吗?

学霸的作业

外甥微信里说家里vscode也换trae了,突然感觉不对劲,智力低下,一看原来忘了从豆包换成Deepseek。
这几天测试了gemma3,有同样的感觉,说是对标Deepseek,简直是自取其辱。
其实Deepseek也挺损的,在推出了满血版的V3惊艳后,再推出R1,让诸多大模型看不到追击的背影。
这也就罢了,他还推出了一系列基于那些大模型的蒸馏版。这就像一个学霸,公开了自己完美的作业后,又把诸同学的作业拿来批改、规整一番公之于众。
杀人诛心啊。

大佬登场

早上看到谷歌gemma3推出,使用ollama下载后提示无法运行。
很快ollama就提示系统有升级版本。随后lmstudio也更新版本以适应gemma3。
谷歌是有这个资格和资本的。
如果说面对OpenAI的不可一世,deepseek如陈胜喊出了“王侯将相宁有种乎”,那么谷歌的跟进,就是项梁项羽登场了。
说deepseek是划时代产品,真不为过。

rag将转向依托外部大模型

今天把dify降版本到0.15,系统终于正常运行了。检验了一下rag的效果,也就确认他版本大跃进的原因,就是为了对标RAGflow。
因为新版本无法正常使用,不清楚提升多少,但原先版本的确无法与RAGflow相提并论。
dify升级后的一个功能提升,是通过插件市场,增强了大模型的接口,偏偏就是这个功能导致系统错误连连。在中国,搞插件市场,等于自绝于用户。
同样RAGflow的bug也出现在大模型接口上,虽然为此进行了一次版本升级,却依然没有解决默认模型无法新增ollama的问题。
从这点看,rag系统都在转向依托外部大模型来提升性能。
估计好戏还在后面。

大体量大能量的RAGflow

昨天晚上媳妇微信推荐了一本deepseek的书,这deepseek改变着这个世界,连出书的速度都加速了。
比书更快的是网上的相关视频,deepseek才问世多长时间啊,这段时间内一下子出现了那么多视频,用拥堵形容都不过份。
同样,相关软件、系统也在提速。昨天折腾了一晚的网络红软dify,总是卡在文档解析上,后来看github上回复,是升级到1.0版本后,某个docker镜像存在问题。
真是萝卜快了不洗泥。
今天上午折腾依然无果,于是转向RAGflow。相比dify的2核4G,这个需要4核16G,仅从硬件配置上看就不是一个体量的。而且仅仅安装一个不含模型的精简版,就要近20G的下载量。
下载一个下午后,晚上刚开始测试,简直失望透顶,因为对话中,总是提示知识库未找到答案。
就在准备放弃骂娘时,换了一个方式查询,好家伙,答复的哪是答案啊,简直就是一个全面的总结。
而开始没有回答,估计是系统还在处理资料库中。
可以说,RAGflow不是为AI服务,而是让AI为他服务。

乱花眼的大模型

这几天按照cherrystudio中的模型列表,测试各运营商的大模型,搞得是眼花脑涨。
最后在选择了天翼云的大模型后,选择结束。因为deepseek的优势是全方位,而且碾压式的,选择这么多,只是为了选择一个价格最优惠的而已。
天翼云的优惠力度最大,两周时间2千万的token。他之所以这么大方,因为他是后来者,作为有硬件有带宽的电信运营商,他需要deepseek这个当红明星来吸引用户,就像古代好戏院子找到了头牌大腕一样。
我实在不明白,BAT还留着那些过时的模型干什么,除了让模型列表更混乱,我实在找不到他们继续存活的理由。
这就像突然间AK设计公开,足量供应,你还舍不得汉阳造,抢车间,占仓库。
就像同样眼花脑晕的儿子说的:这deepseek自己在进步啊。

满意的rag测试

之前测试rag,我使用的材料是《三国演义》的文本文件,即便是deepseek推出后,效果仍然不是非常满意。
这几天分析,除了《三国演义》本身是文言白话混杂的作品,给AI的分词、理解提高了难度。还有一个重要原因,那就是《三国演义》太有名了,AI在训练过程中,难免被污染,所以才会在出现“关公骂王朗”的“本能性”回答的笑话。
于是决定改变一下案例,使用真正私有的文件,也就是对AI全新的资料进行回答。
敝帚自珍,这次选择的资料库是我完成许久的小说。从简书按章节导出后修改为升序文件名,以目录的方式导入知识库。
指定知识库后,使用deepseek-r提问,从分析到回答,已经不再夹带私货,完全按照原作进行回答,但理解能力还是有问题。
总结一下,应该是我虽然修改了文件名,但AI读取文件时,并未按小说的时间线进行分析。
多文件不行,就把多文件生成一个markdown文件让AI理解。在AI的辅助下,编写了一个程序,将多个网页中的内容采集后合并到一个文件中。
这次,AI给出了优异的答案,理清了人物关系,并在此基础上进行了人物情感分析。
这次使用的模型是硅基流动的,相比其他运营商“Token大赠送”的扭扭捏捏,硅基流动赠送的直接是免费券,而且界面简单明了。满意之余,顺手充值了10块钱,以作奖励。
回想一下,两周过去了,能够费脑子写新代码,这事情算是真的过去了。

举足轻重的向量化

昨晚躺下后脑子里也是关于rag的问题。
早上起来查了一下相关资料后,确认之前遇到的本地资料库效率,应该与向量嵌入模型有很大关系。
于是开机重建资料库,使用硅基流动的免费嵌入模型,对同一文章进行向量化导入,然后使用同一qwq模型询问同一问题。
果然,这次不但问题的答案准确,而且推理过程也精简高效了很多。
目前硅基流动的向量化服务有免费、收费两种,而腾讯是按照token收费,看来这个业务需求量还是不小的。