MongoDB服务器迁移

前天晚上基本没睡,昨天中午忙完回到家本想洗洗衣服,洗澡补觉。但估计是作息混乱,反而睡不着。
既然睡不着,索性开始将原先日立老服务器上面的MongoDB数据备份到新机器上。
虽然睡不着,但脑子却不是十分清醒,数据迁移过程中并不顺利,MongoDB服务器启动不起来,折腾许久,冷静下来分析问题,原来问题不是出现在权限,而是数据库版本不同的格式兼容问题。
删除原目录重新建立并授权后,服务器顺利启动。
后面数据备份导入就简单对了。核对一下数据库,发现从20年开始,还是积攒了不少数据的。
如今天看到一个关于rag的视频所言,最重要的还是那些精简有效的数据。
数据才是根本。

断人财路,送自己上绝路

前几天NVIDIA宣布以50亿美元入股Intel,成为大股东,同时Intel将为NVIDIA定制CPU。
说白了还是集成nvdia芯片的主板,只不过CPU已经沦为了配角。
真是三十年河东三十年河西。
其实,这也是习惯垄断的Intel自己做的孽,而始作俑者则是当年大名鼎鼎的810e芯片。
在这款主板之前,我在市场上看到的主板上,还有品牌机中,有集成ati芯片,有mga的,自由选择度非常高。
等Intel的810e一出现,利用芯片性能加CPU的垄断地位打压一切异己,别的显卡芯片厂的路就堵死了。
现在看,真是自作自受。

大模型时代的隔离

昨天下了火车坐上公交,从大观园到环山路,旁边一位一看就是技术人员的男士,一直在打电话,交流的是某个单位的网络隔离问题。
熟悉的话题,已经十余年了。
原先隔离的信息获取,现在已经早进入到大模型应用时代了,现在再隔离的已经不止是信息了。
网络上前几天看到一个话题,是shadowAI,就是员工在单位提供的大模型之外,最终自主选择的AI大模型。
如果本地大模型既要部署,又要隔离,那信息服务公司的真是不愁业务了。

折腾半天ChatTTS-Forge

最近没有怎么折腾本地部署大模型。除了最近烦心事多,主要还是在验证了“有多少人工智能,就有多少人工”这个现实后,感觉下一步大模型应用无非就是堆硬件、叠人工了。
因为用友系统出了点问题,昨天一时闲来无事,便将ChatTTS-Forge安装到恒源云的GPU服务器上了。
没想到大半年没用,原先一路畅行安装运行的系统状况百出,不知不觉大半天时间搭进去了。
问题主要出在Pyton版本上,3.8的运行不了,3.12的问题多多,最后无奈换成3.11版本的虚拟环境,这才运行起来,不过ChatTTS模型也需要进行相应调整才能正常将文本转换成语音。
ChatTTS模型的好处是已经集成了不少语音库,下一步再测试一下其他模型,自己生成一下语音库。

忽悠人的780M

有一段时间了,短视频还有微信的广告持续不断给我推广告,是AMD锐龙7系列的笔记本,价格优惠,算上国补16G内存加512G硬盘,2.5K的高清屏都快跌破3000元了。
我有点动心,主要是看中广告里面提到的760M的apu显卡,想买来测试一下其NPU在lmstudio下运行7B大模型性能如何。
但因为现在的笔记本都用的好好的,也没有更换的需求,也就一直看着,一直继续动心着。
今天看到京东广告里面多了一个少见的品牌,价格略高,内存已经到了32G,并且专门提到了笔记本的NPU性能。
这让我重新研究了一下个笔记本的参数,发现原来其apu都叫780M,但具体到型号,差别巨大,只有第二位是8的,诸如7845,才有NPU辅助运行AI。
看来原先笔记本大降价,应该是AMD给厂家巨大的优惠,或者,就是厂家又被AMD忽悠了。

开工ERPNext外挂

昨晚下了一阵急雨,关窗继续睡,早上居然给冻醒了。
既然醒了,就开工做ERPNext的外挂系统。忙到眼痛腰酸算是把系统数据库结构弄清楚了,于是出去改善一下生活。
现在技术进步太大了,不用说最初学习数据库,即便是第一次做odoo外挂的时候,都被一本正经的教导,数据表能分则分,通过字段关联,低耗而高效。现在看,ERPNext中的数据表,能放在一个表里面的统统放进去。毕竟现在无论机器性能还是存储容量,都已经不是问题了。
而这样的好处就是看数据,可以一目了然,不用再表内猜来猜去,表间查来查去。
不过,当年大厅里“某某某,快做个分录”养成的习惯,还是时不时误导思维,浪费了时间。

模型,小有小的好处

早上起来在抖音看到一个视频,是介绍SLM小模型的,这个SLM自然是针对LLM大模型而言的。
这个视频的源头是gemma推出了开源的小模型270m,这个模型只有不到300M,是小的不能再小了,应该针对的是手机应用。
视频中关于小模型的介绍,倒是跟我最近对小模型应用总结差不多,那就是小模型的本地部署是有实用价值的。主要针对的就是目的明确的批量处理任务,而非那种专业性的求索性应用。
同时本地部署模型可以处理本地资源,并确保用户隐私。
最后,那个视频的依据除了gemma3,还有英伟达的一篇重文本轻公式的小模型应用的论文。
所以,小模型的最为关键的优势不言而喻:成本低。

OpenAI开源

最近在rag实战应用中十分有挫败感,昨天刚跟外甥电话交流中,尝试使用chatGPT对本地文件处理的可能性,今天一早起来看新闻,OpenAI居然将GPT开源了。
因为开源两个版本中低的20B也需要16G显存,目前还没法测试,但根据之前对其他低版本开源模型的测试,对rag等本地部署的应用是足够了,GPT应该只会更强。
这已经不是蚂蚁腿肉也是肉的问题,而是AI普及后的一块巨型蛋糕,显然OpenAI公司不想让一班跟随者分享这块蛋糕。
只是16G显存的门槛,最高兴的还是黄厂长。

拆机华硕主机

老早就想把华硕主机换了,但还能用,再者这台机车从21年开始用,导数据也是个麻烦事,于是一拖再拖。
这次办公室电脑搬回来了,机器也到了退居二线的时刻。从网上买的细长螺丝刀也到货了,上次想拆机加内存,就是螺丝刀卸不下螺丝钉才作罢。这次工具趁手,把机器拆开,里外两层壳,做工的确精良。
拆掉数据硬盘后,本想换内存,结果发现内存只有一个插槽,而且是在涡轮风扇下面,而要拆风扇,还要把镇压独显的散热器一起拆了,只能作罢。内存8G就8G吧,其实只见新人笑,哪听旧人哭,主机一旦被替换后,基本也没有多少用武之地了。
最后只是把多余的一块SSD硬盘加上,组装完了后发现多出一个螺丝钉,只好拆了重新安装。
17年的机器,历经两个主人,用到现在还能发挥余热,也够本了。

不稳定的PDF识别

颇有挫败感的一天。
本来前段时间使用zotero的GTP插件,通过硅基流动的免费7B模型,可以准确提取PDF文件中的数据,但没想到今天准备实战应用了,却发现极不稳定。
这种不稳定是多方面的,不仅是不同PDF文件,不同模型间提取数据也不稳定,即便是同一模型,在不同时间段效果也不稳定。
我有些怀疑是内嵌模型拖了后腿。
看来只能是通过ragflow来解决这个问题了。