最近买了一个树莓派5， 8G 版的， 感觉树莓派5的计算能力确实有了很大的提高。

下面是树莓派5的视频：

树莓派5的计算性能，比树莓派4b有2～3倍的提升， 所以树莓派5一般需要额外安装风扇：

下面，我们试着在树莓派5上安装Ollama，并试着运行一个大模型， QWen- v1.5 ， 来体会一下在树莓派上运行大模型。

安装和运行Ollama

我在树莓派5 上安装的操作系统是Ubuntu 23.10， 所以安装Ollama 非常简单，只需要一条命令：

curl -fsSL https://ollama.com/install.sh | sh

当前安装的版本为0.1.28

pi@pi5-desktop:~$ ollama -vollama version is 0.1.28运行Qwen-v1.5

阿里开源的Qwen，通义千问， 是一个有着强大自然语言处理的大语言模型系列， 支持多语言、多领域的预训练， 能进行内容创作、信息抽取、总结、翻译、代码、数学问题等，我们这里通过Ollama 来运行Qwen-v1.5 版本，目前Ollama 提供的版本有：

ollama run qwen:0.5bollama run qwen:1.8bollama run qwen:4bollama run qwen:7bollama run qwen:14bollama run qwen:72b

根据Ollama的介绍， qwen最低的内存需求仅仅有2GB， 这对于我们的8GB 内存的树莓派而言，是足够的， 因此我们先来运行一下0.5B版本：

 ollama run qwen:0.5b

执行结果：

如果本地没有qwen 0.5b这个版本， Ollama 会自动去下载， 这个下载和执行的过程非常类似于Docker的run 命令， 对于开发者而言是非常舒服的。

和Qwen 对话

接下来，我们和Qwen进行一下对话， 让Qwen 给我们讲一个创业的故事，这个也是Qwen在github上官方的例子：

这里为了省资源，没有启动Ollama的web UI， Ollama的Web UI ，最快的方法是本地启动Docker， 这会消耗树莓派资源，因此先使用命令行的bot进行交互。这个0.5b的版本的回答，跟官网相比，其实是有些简单的：

从树莓派的系统运行监控来看，Ollama 是有两个进程来本地运行大模型，user 是pi的ollama 进程是用户在前台启动的进程， 而用户是ollama的进程，则是Ollama 用来运行LLM的后端进程。

来试试qwen:1.8b：

ollama run qwen:1.8b

运行效果还是可以的，比之前的0.5B的回答内容要多，

来看看运行时候的录屏：

让Qwen 给故事起一个标题：

Qwen-v1.5-4B

我们再来试试4B版本：

ollama run qwen:4b

下载速度，我本地的网络速度还是可以的：

下载完成：

来看看Qwen-4b的回答：

>>> 你好

您好，很高兴为您服务。如果您有任何问题或需要帮助，请随时告诉我。我将尽力为您提供满意的回答。再次感谢您使用我们的产品和服务。祝您工作顺利、生活愉快！

>>> 给我讲一个年轻人奋斗创业最终取得成功的故事

故事的主人公是一位名叫杰克的年轻人。杰克出生在一个普通的家庭，他从小就有着一颗强烈的创新和创业的心。当杰克进入大学后，他更加坚定了他的创业梦想。杰克开始研究各种新的商业模式和技术，并且他还开始寻找志同道合的朋友一起合作创业。经过了多年的艰苦奋斗和不懈努力，杰克和他的朋友们终于成功地开发出一款全新的高科技产品，并且他们还成功地将这款高科技产品推向市场，并且他们还成功地赢得了广大消费者的广泛好评和支持。

>>> 请给故事起一个标题

当然可以。基于您提供的故事内容，我为这个故事起了一个标题——"从校园到市场的成功之路：杰克创业记"。希望这个标题能够准确地表达出您提供的故事主要内容以及故事中所展现出的主人公杰克及其朋友们不断奋斗和努力追求梦想的过程之中所体现出的精神当然可以。基于您提供的故事内容，我为这个故事起了一个标题——"从校园到市场的成功之路：杰克创业记"。希望这个标题能够准确地表达出您提供的故事主要内容以及故事中所展现出的主人公杰克及其朋友们不断奋斗和努力追求梦想的过程之中所体现出的精神风貌和价值取向。

总结

Qwen 是一个对中文支持比较好的大语言模型， 而且在树莓派中运行也是比较流畅的， 基本可以在项目中使用。

后续我们将介绍Ollama Web UI的用法，以及如何在Spring AI 项目中调用Ollama 的API。