前几天买的显卡牌子叫卡诺基,浓浓的山寨味,这几年主打的是旧芯片新显卡,比如rx580,gtx1060等,网上被怀疑是从矿卡拆芯片重新进厂生产成品显卡。现在做大了,显卡还提供两年质保。
昨天感觉淘到宝后,立马上天猫查看价格,发现已经下架,不知是优惠期结束调整,还是货已出空。
原同事小B有句名言:逛科技市场口袋里不能带钱。要不然看到好宝贝的就控制不住要买回家,这跟现在网购差不多,但看到实物的感觉还是不一样的。
而且那时候科技市场里关注的宝贝,不止是价格低,看中的还要出身名门,比如帝盟的声卡,原厂的显卡等等,还需要专业知识和眼光的。
比如买到过最贵的工包显卡8500le,也是在比较了多个品牌的9100产品后才狠心掏钱的。而确定是工包的一个依据,是把有电工经历的胖子拉到科技市场,他确认虽然各种品牌不同,甚至板型差异也不小,但上面电容等安装标准却是一致的。
现在这种乐趣已经只能在记忆里了。
分类: IT天地
咬牙买到宝
前几天咬牙买的显卡昨天到货了。无论是包装盒,还是打开后看到显卡,除去显卡块头,仿佛有种时光倒流20年之感。
不过时代还是进步的,原先杂牌显卡附带的驱动光盘换成了U盘。而看评论,这款显卡在网上受
冷落的主要原因,就是这个U盘里面的驱动,属于专用驱动,换成公版最新驱动,据说会花屏,甚至开不了机。
昨天到货,因为没有合适硬盘,今天下午才开始安装Ubuntu server。此前网上还没有看到先例,所以安装的时候开始并没有报特别大的希望,就把他按照标准的显卡安装的,大不了换回win11,反正不玩游戏。不过从安装NVIDIA官方最新570驱动准确识别显卡开始,我感觉自己可能买到宝了。
驱动安装完毕,后面的cuda、tensorrt也就一马平川了,而且现在技术进步,NVIDIA支持container toolkit,也就是说,docker中也能使用GPU了。
在经过漫长的下载后,ollama+qwen3 14B运行起来的时候,我才确信这次真的买到宝了。
解决docker: Error response from daemon: Get “https://registry-1.docker.io/v2/”
最近在通过docker安装splash的时候总是遇到docker: Error response from daemon: Get “https://registry-1.docker.io/v2/”的错误,后面提示是(Client.Timeout exceeded while awaiting headers),应该是连接https://registry-1.docker.io/v2/错误。
按照以往经验,新建了/etc/docker/daemon.json文件,添加了国内163等3个镜像站点,但问题一直未能解决。
后来参照网上一篇文章,添加了一大堆站点,问题解决。
{
"runtimes": {
"nvidia": {
"args": [],
"path": "nvidia-container-runtime"
}
},
"registry-mirrors": [
"https://docker.registry.cyou",
"https://docker-cf.registry.cyou",
"https://dockercf.jsdelivr.fyi",
"https://docker.jsdelivr.fyi",
"https://dockertest.jsdelivr.fyi",
"https://mirror.aliyuncs.com",
"https://dockerproxy.com",
"https://mirror.baidubce.com",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://docker.mirrors.sjtug.sjtu.edu.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://mirror.iscas.ac.cn",
"https://docker.rainbond.cc"
]
}
模型开源意义何在?
办公室的网络实在糟烂,今天才通过lmstudio断断续续把最新的qwen3的8B模型下载下来。
载入新模型后,发现上面有个《三国演义》的问题,当时回答的是qwen2.5的7B,于是复制了问题让新权重回答,结果虽然略有改进,但胡说八道的内容基本一致,都没脸截图了。
这表明虽然版本升级了,但二者的训练知识库是同一被严重污染的。
回到家后,怕冤枉了qwen,又使用cherrystudio向硅基流动的qwen相应版本询问,得到的答案同样是胡说八道,甚至2.5蒸馏版本答案中,解放军都出来了。
目前三大厂中,只有阿里的公布了开源大模型,但这种开源有什么意义?
升级高速的dify
4月下旬杂七杂八事情多,没太用心学习,只是想着如何在dify和ragflow中选择一个作为主力资料库。
结果在五一期间发现网上几篇技术文章,已经将二者整合了。其实根据之前学习也感觉到了,ragflow重在资料处理,而dify长于轻便,且以工作流闻名,真是天作之合。
回来后打开dify系统,发现这半个月没用,版本已经从1.1.3蹦到1.3.1了,而与ragflow的结合,正是从1.1版本后开始的。而且重要的一点就是dify改进了插件市场的服务器,使其不再是墙外的摆设。
升级后简单测试了一下,真是功能提升显著。
现在学习也不能空下来啊。
迟迟的百度
五一期间收到百度短信,提示我在千帆平台上有百万免费token,而且不是文心一言的,是deepseek的r1和v3,将在5月9号到期。
在家期间没有怎么用电脑,回京后给儿子机器调试相应程序后,觉得这百万token也不能浪费了,就通过cherrystudio测试了一下,速度不错。
上次测试MCP没控制好,结果耗费了腾讯那百万token不说,事后还收了我超出流量的几毛钱费用。
钱不多,主要是上次提示额度用光早,否则不知扣多少呢。所以这次小心为上,便登录千帆后台查看一下流量监控。结果登上去一看,那个乱啊,费半天劲找到流量监控了,结果只是到昨天的,看不到今天流量。
这几个大厂里,百度是最晚提供免费deepseek流量的,而后台管理也是最乱的。
这可能就是百度的现状吧。
BTW:刚写完,百度便来了短信,提示已经欠费……
转移至Trae
在vscode将我的混元免费百万耗光后,我终于下定决心转到Trae了。
原先总觉得Trae就是一个集成了AI插件的IDE,这次投奔它,最为看重的是整体内置的大模型–DeepSeek 满血版,而且是无限量免费使用。
折腾了近一天,基本能够可以满足工作需要。只是作为开发环境,相比轻量精简得完全不像微软产品的vscode,Trae一启动就让我那华硕老机器的CPU和内存都满载了。
而且在安装测试了MCP后,感觉这满血deepsea也是有水分的。我只是通过fetch抓取了一个京剧戏考的剧本网页,大模型居然提示我“网页存在敏感内容”,害得我白白浏览了几遍也没看到什么历史糟粕。
而这个测试网页,无论是混元,还是deepseek,哪怕是蒸馏版的千问7b版,都没有类似提示。
看来我的猜测是对的,我们在免费使用厂商提供大模型的同时,也在被监控和利用。
近期RAG心得总结
昨天躺下后,一时睡不着,脑子里又结合近来的学习,把那个关于MCP视频过了一遍,算是一个总结。
视频中是认为MCP是为了解决RAG的功能缺陷的,它主要的缺陷通过最近实验检测,发现是难以通过自身升级解决的。
一是RAG中资料是平铺,离散的,缺少关联,更没有顺序,这就如此前所说,根本不适合小说类资料。
二是RAG过于依赖向量数据库,而资料在导入数据时,是通过内嵌大模型进行切片的,而资料被切片属于无差别分割,虽有重合设置,但难以保证数据完整性、关联性。
三是RAG中各资料库间缺少关联,合则繁冗,分则无序。
最后,就如UP主推荐的数据库替代方案所承认的缺陷那样,太耗费大模型的tokens了。
最终解决方案,还是以大模型为主,资料库为辅,甚至可以说,就是让资料库为大模型服务。
学而实践,踩坑MCP
今年以来,已经慢慢习惯通过视频学习计算机技术。怎么说呢,总感觉越容易的表达方式,往往越随意,而且出口容易修改难,甚至是懒得修改。
下午看了一个介绍MCP在MongoDB数据库上的应用。其中印证了不少自己之前的的观点,而最后up主也承认,现在MCP还存在很多问题需要解决。其实总结一下就是:太过依赖大模型。
本来,这MCP最早就是anthropic推出的,绕不过去的。
看完视频,通过vscode测试了一下mcp的网页爬取,问题颇多,最后把我腾讯混元的免费额度都用光了,也没有成功。
看来不止是绕不过去,感觉还是一个流量陷阱。
知识库重中之重
自从换了办公地点后,跟外甥技术交流少多了。前几天他网上提到他现在使用的Trae,其新版本已经开始支持自建文档集了。
而我最近在测试的几个系统,版本频繁更新,几乎也都与知识库相关。连最近开始使用的obsidian,也在官方从笔记系统自诩为 扩展知识库。
当然,这些都是离不开外部AI大模型的支持。
同样,大模型开发商应该也不甘只为他人做嫁衣,将知识库纳入到大模型管理之中已经是必然,ChatGPT的全面记忆功能,只是第一步。
虽然如此,我还是看好知识库的自建,在信息泛滥的时代,知识库的专业性和准确性是立足之本。