前言:

如今 RISC-V 亦如雨后春笋,也有幸参加了在杭州举办的 2024 年中国 RISC-V 大会,和久违的朋友聊天、吐槽;和各大 OEM 厂商探讨未来发展;更有意义的是能够购买到相关开发板进行测试和把玩。

进迭时空:

是一家成立于2021年11月,专注于研发高性能 RISC-V 架构计算芯片的创新型企业。目前向市场上(目前我所了解的)主要是 K1 和 M1 芯片,包括了 RISC-V 通用指令集和 RVV 1.0 指令集,并有自研的 ime 指令集,目前我手头购买了来自进迭时空的 MuseBook,一台搭载 K1 的 RISC-V 笔记本;从算能购买的 Milk-V Jupiter 主板,搭载了来自进迭时空的 M1 芯片;还有Sipeed的 LicheePi 3A 开发板,搭载的也是 K1 。这里我就不详细列举这些芯片的参数,一方面大家都能到网上搜索具体信息,另一方面,它们都是8核心,都具有 RVV 1.0 指令集,这是我最关注的。因为有了 RVV,我就有机会利用 RVV 运行人工智能大语言模型了。下面我从两个方面谈:

  1. Gentoo 在 K1/M1 上的使用;
  2. 目前 RVV 运行生成式大语言模型的情况。

Gentoo:

Gentoo 系统我已经在开发板上基于指令集进行了优化做好了首个刷机包,大家可以通过下面的连接到百毒网盘下载(主要是之前的 FTP 服务器已经挂了),下载后利用进迭时空为我们准备的刷机工具,就能顺利刷写到开发板、Musebook 和 MilkV Jupiter 上(这里大家提前下载一个 Bianbu 的 1.0.y 的 mini zip 刷机包,在使用进迭时空刷机工具时,将 bootfs 和 rootfs 替换即可),目前的问题是暂时用不了无线网卡,等等后面我更新下内核就应该没问题了。默认用户名:root,默认密码:root,ssh 登陆正常打开,已经安装好 v2raya,v2ray,xray,方便后续拉代码和各种折腾。

通过百度网盘分享的文件:LicheePi3A-Gentoo-6.1
链接
提取码:rvv1

Ollama:

我 fork 了一份 Ollama,并修改了 cmake 判定。当然啦,主要问题在 llama.cpp 源码的 cmake ,缺少 RISCV 的判断机制,从而没有提供 RVV 的向量扩展指令集加速,大家有兴趣克隆我的仓库代码在本地部署 ollama 之后,就能使用了,速度是没有 RVV 的3-4 倍,还是蛮惊喜的。

祝大家玩的开心。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注