JLama:首个纯Java实现的大语言推理引擎

爱的威利斯 2024-05-31 02:51:30

JLama是首个在Maven Central提供的纯Java推理引擎,利用Java 21中的Vector API和Project Panama实现高效推理。由DataStax的首席软件架构师Jake Luciani开发,该库在开源社区中引起了广泛关注和好评。

JLama:首个纯Java实现的大语言推理引擎

背景

此前,Andrej Karpathy开源了700行代码的llama.c推理接口,展示了开发者如何与大型语言模型(LLMs)进行交互。这一项目在公共代码库中迅速流行,获得了成千上万的星标、分叉和移植。

JLama的特点纯Java实现:这是唯一一个在Maven Central中可用的Java推理库,避免了对本地实现的依赖。高性能:使用Java 21和Vector API,JLama提供了更快的推理速度。多模型支持:支持包括Gemma, Llama, Llama2, Mistral, Mixtral, GPT-2, BERT等模型,使用Hugging Face SafeTensors模型和Tokenizer格式。功能丰富:实现了分布式推理、闪存注意力机制、专家混合等功能。快速上手

开发者可以使用以下命令从Hugging Face下载模型:

$ ./run-cli.sh download gpt2-medium$ ./run-cli.sh download -t XXXXXXXX meta-llama/Llama-2-7b-chat-hf$ ./run-cli.sh download intfloat/e5-small-v2

下载模型后,可以与模型进行聊天或完成提示:

$ ./run-cli.sh complete -p "The best part of waking up is " -t 0.7 -tc 16 -q Q4 -wq I8 models/Llama-2-7b-chat-hf$ ./run-cli.sh chat -p "Tell me a joke about cats." -t 0.7 -tc 16 -q Q4 -wq I8 models/Llama-2-7b-chat-hf

JLama还提供一个简单的Web UI,供开发者快速开始与大语言模型进行互动:

$ ./run-cli.sh download tjake/llama2-7b-chat-hf-jlama-Q4$ ./run-cli.sh serve models/llama2-7b-chat-hf-jlama-Q4

启动应用后,可以通过http://localhost:8080/ui/index.html访问。

应用与前景

JLama不仅适用于纯Java应用,还可以与Spring或Quarkus等框架集成。此外,新的应用如Devoxx Genie或Podman Desktop扩展,也在帮助开发者更快地使用LLMs。

展望

根据项目路线图,未来将支持更多模型以及LoRA和GraalVM。这一发展方向与Andrej Karpathy的观点一致,即在特定领域内,小型LLMs也能表现出色。

结语

JLama为Java生态系统带来了强大的AI推理能力,利用Vector API和Project Panama实现了高效、低延迟的推理。随着更多模型和功能的支持,JLama有望在AI应用领域发挥重要作用。

5 阅读:541
评论列表
  • 纯Java,文件名是.c,我不理解了

    没有名字 回复:
    此前......
    公知猪队友 回复:
    c做接口,java调用。简单来说就是算法是c实现的。数据处理是java
  • 2024-08-15 23:36

    java还是安心等着过气吧[呲牙笑]

爱的威利斯

简介:感谢大家的关注