试用
Ollama是一个用于本地运行大语言模型的工具，只需一个简单的命令行ollama run llama3，
就可以在本地运行一个大型的语言模型，当然你也可以通过Modelfile对大语言模型进行一些定制。
Ollama简单快捷，支持多种大语言模型，可以帮助开发者更好地理解和使用大语言模型，当然也可以用于一些AI实验和研究。
如果对于程序员来说，就可以考虑 ollama run codellama。 当然也可以选择一些更小的语言模型在笔记本上运行，并进行一些尝试和探索，
所以Ollama也有 Local Playground for Large Language Models (LLMs)的称呼。
在公司内部，考虑到一些安全性和费用的问题，使用Ollama本地运行大语言模型是一个不错的选择，方便公司内部的开发者使用。
目前已经有非常多的工具和框架都支持Ollama：
- DevoxxGenie: Devoxx Genie IDEA Plugin
- https://docs.continue.dev/quickstart
- zed: https://zed.dev/
- LangChain Ollama: https://python.langchain.com/v0.2/docs/integrations/llms/ollama/
- Spring AI: https://github.com/spring-projects/spring-ai
Ollama支持的大语言模型列表:
- Meta Llama 3.1: The most capable openly available LLM to date
- mistral-nemo: Mistral NeMo is a 12B model built in collaboration with NVIDIA
- qwen2: Qwen2 is a new series of large language models from Alibaba group
- phi3: Phi-3 is a family of lightweight 3B (Mini) and 14B (Medium) state-of-the-art open models by Microsoft.
- 更多请参考： https://ollama.com/library
Ollama & Friends
- LMStudio: https://lmstudio.ai/
- GPT4All: https://gpt4all.io/index.html
- llamafile: distribute and run LLMs with a single file - https://github.com/Mozilla-Ocho/llamafile
- llama.cpp: https://github.com/ggerganov/llama.cpp
- Open WebUI: User-friendly WebUI for LLMs(OpenAI and Ollama etc) - https://openwebui.com/
- web-llm: High-performance In-browser LLM Inference Engine - https://github.com/mlc-ai/web-llm
References
- Ollama Docs: https://github.com/ollama/ollama/tree/main/docs
- Ollama Blog: https://ollama.com/blog
- On the architecture of ollama: https://blog.inoki.cc/2024/04/15/Ollama/