Ollama là phần mềm mã nguồn mở (giấy phép MIT) giúp tải và chạy mô hình ngôn ngữ lớn (LLM) có trọng số mở ngay trên máy tính Windows, macOS hoặc Linux bằng vài dòng lệnh, đồng thời mở API tại localhost:11434 để ứng dụng và AI agent gọi tới. Dùng model local với Ollama không cần tài khoản; chỉ phần cloud model mới cần đăng nhập ollama.com.
Ollama là một trong các công cụ chạy local model phổ biến; nếu bạn muốn dùng model qua API của các hãng thay vì chạy trên máy, xem cách lấy API key LLM miễn phí. Bài dưới giải thích Ollama là gì, chi phí, hạn chế, cách cài trên Windows có ảnh chụp từng bước và cách nối Ollama với ứng dụng, agent hay VPS.
Phiên bản và yêu cầu hệ thống đối chiếu ngày 29/10/2026 theo GitHub Ollama (v0.40.13, 28/10/2026), tài liệu Windows và Hardware support. Ollama cập nhật thường xuyên, hãy xem lại trước khi cài.
Tổng quan về Ollama AI
Ollama gói việc tải model, nạp model vào bộ nhớ và phục vụ qua API thành một chương trình duy nhất, điều khiển bằng các lệnh như ollama pull, ollama run. Phần này giải thích Ollama là gì, ai làm ra nó và điều gì khiến nhiều lập trình viên chọn Ollama khi chạy AI local.
Ollama AI là gì?
Ollama là phần mềm mã nguồn mở giúp đơn giản hoá việc tải, quản lý và chạy các mô hình ngôn ngữ lớn trực tiếp trên máy tính của bạn. Thay vì gửi dữ liệu lên dịch vụ đám mây, bạn chạy các model mở như Gemma, Qwen, Llama, Mistral hay gpt-oss ngay trên phần cứng của mình. Bên dưới, Ollama dựa trên thư viện llama.cpp và định dạng model GGUF.
Ollama do Jeffrey Morgan và Michael Chiang sáng lập; kho mã ollama/ollama được công khai trên GitHub từ tháng 6/2023 với giấy phép MIT. Mục tiêu của dự án là để lập trình viên, nhà nghiên cứu và doanh nghiệp nhỏ chạy được LLM mà không phải tự lắp ráp thư viện. Dự án có cộng đồng đóng góp lớn và nhiều công cụ bên ngoài như Open WebUI, n8n hay các framework agent đều có cách kết nối với Ollama.
Điều gì làm nên sự đặc biệt của Ollama AI?
Điểm khác biệt của Ollama nằm ở cách nó gói gọn việc chạy model: một lệnh để tải, một lệnh để chạy, có API sẵn cho ứng dụng khác. Sáu đặc điểm dưới đây giải thích vì sao Ollama hay được dùng làm công cụ đầu tiên khi tự chạy LLM.
Đơn giản hóa việc triển khai LLM
Trước Ollama, việc thiết lập một môi trường để chạy các mô hình ngôn ngữ lớn cục bộ thường đòi hỏi kiến thức sâu rộng về cấu hình phần cứng, quản lý thư viện, và giải quyết các vấn đề tương thích. Ollama đã đơn giản hóa toàn bộ quy trình này bằng cách cung cấp một gói cài đặt duy nhất, tự động hóa việc tải xuống các mô hình, quản lý các phụ thuộc và tối ưu hóa hiệu suất. Điều này giúp người dùng, kể cả những người không chuyên về AI, có thể dễ dàng bắt đầu sử dụng LLM chỉ với vài dòng lệnh đơn giản.
Tối ưu hóa hiệu suất phần cứng
Ollama tự nhận diện phần cứng để tăng tốc: theo tài liệu Hardware support (29/10/2026), Ollama hỗ trợ GPU NVIDIA có compute capability 5.0 trở lên, GPU AMD qua ROCm v7 (trên Windows chỉ một số dòng RX 7000, PRO W7000; dòng khác dùng Vulkan), Apple Metal trên Mac và Vulkan. Không có GPU phù hợp thì Ollama chạy bằng CPU và RAM, chậm hơn rõ rệt.
Tăng cường quyền riêng tư và bảo mật dữ liệu
Khi model chạy trên máy của bạn, dữ liệu đầu vào và đầu ra không cần gửi lên máy chủ bên ngoài, giúp giảm rủi ro về quyền riêng tư với thông tin nhạy cảm. Lưu ý: cloud model của Ollama thì xử lý prompt trên máy chủ của Ollama (theo tài liệu Cloud, Ollama không dùng dữ liệu này để huấn luyện); muốn chỉ dùng model local, đặt biến OLLAMA_NO_CLOUD=1.
Linh hoạt và khả năng tùy biến cao
Ollama không chỉ hỗ trợ một loạt các mô hình LLM có sẵn mà còn cho phép người dùng tạo và tùy chỉnh các mô hình của riêng họ thông qua các tệp Modelfile. Nhờ đó, nhà phát triển có thể đặt sẵn system prompt, tham số, hoặc nhập model riêng để thử nghiệm, tinh chỉnh và triển khai các giải pháp AI độc đáo phù hợp với nhu cầu cụ thể của họ. Khả năng tích hợp với các ứng dụng khác thông qua API RESTful cũng làm tăng tính linh hoạt của Ollama, cho phép nó trở thành một phần của các hệ thống phức tạp hơn.
Cộng đồng mã nguồn mở năng động
Là dự án mã nguồn mở, Ollama được cộng đồng đóng góp và cập nhật thường xuyên để hỗ trợ model mới. Mã nguồn công khai giúp người dùng tự kiểm tra cách phần mềm hoạt động, báo lỗi và theo dõi bản vá bảo mật trên GitHub.
Hỗ trợ đa nền tảng toàn diện
Ollama có bản cho macOS, Windows và Linux, cùng image Docker chính thức. Trên Windows, theo tài liệu Ollama, cần Windows 10 22H2 trở lên (Home hoặc Pro); bộ cài OllamaSetup.exe không cần quyền Administrator, chiếm ít nhất 4GB, chưa kể dung lượng model.
Các mô hình của Ollama AI
Ollama chạy được các model có trọng số mở trong thư viện ollama.com/library, từ model nhỏ vài tỷ tham số đến model rất lớn. Mỗi model có nhiều bản (tag) theo kích thước và mức nén; chọn bản vừa với RAM hoặc VRAM của máy bạn trước khi tải.
- Gemma 4 (
gemma4): dòng model mở của Google, giấy phép Apache-2.0, có nhiều kích thước từ E2B đến 31B. Xem Gemma 4 là gì. - Qwen (
qwen3.8và các thế hệ cũ hơn): dòng model của Alibaba, có nhiều kích thước và bản chuyên code. Xem các model của Qwen. - gpt-oss (
gpt-oss): model trọng số mở của OpenAI, bản 20b và 120b, giấy phép Apache-2.0. Xem các model của OpenAI. - DeepSeek (
deepseek-v4-flashvà các model cũ hơn như DeepSeek-R1): trọng số mở giấy phép MIT. Xem các model của DeepSeek. - Llama (
llama4,llama3…): dòng model của Meta, dùng giấy phép riêng của Meta. Xem Llama là gì.
Tên model trong ngoặc là tên dùng với lệnh ollama pull, đối chiếu trên thư viện Ollama ngày 29/10/2026; giấy phép theo trang model trên Hugging Face. Danh sách model mở kèm giấy phép có ở bài các mô hình LLM open source.
Chi phí sử dụng Ollama AI
Phần mềm Ollama miễn phí và mã nguồn mở; khi chạy model local, bạn không trả phí API. Chi phí thật nằm ở phần cứng và điện. Riêng cloud model của Ollama có tính phí theo token hoặc theo gói, tách biệt với việc chạy local.
- Phần mềm miễn phí: không có phí cấp phép hay đăng ký; mã nguồn công khai theo giấy phép MIT, cho phép kiểm tra, sửa đổi và phân phối lại.
- Không tốn phí API khi chạy local: dịch vụ như OpenAI, Google Gemini hay Anthropic Claude tính phí theo số token đầu vào và đầu ra; model chạy trên máy bằng Ollama thì không.
- Đầu tư phần cứng: để chạy model lớn với tốc độ dùng được, bạn cần GPU có nhiều VRAM hoặc Mac Apple Silicon nhiều RAM; model càng lớn càng cần nhiều bộ nhớ, bản lượng tử hoá nhẹ hơn.
- Điện năng: chạy model liên tục trên GPU tốn điện đáng kể, cần tính vào chi phí nếu dùng cho doanh nghiệp.
- Cloud model (tuỳ chọn): Ollama có gói trả theo token và các gói tháng; xem bảng giá Ollama (29/10/2026).
Nhìn chung, Ollama giúp tiết kiệm chi phí khi bạn đã có phần cứng phù hợp và muốn giữ dữ liệu trên máy. Nếu phải mua phần cứng mới chỉ để chạy model, hãy so tổng chi phí với việc trả API theo mức sử dụng trước khi quyết định.
Một số điểm còn hạn chế của Ollama AI
Ollama không hợp với mọi trường hợp. Sáu hạn chế dưới đây là những điều nên cân nhắc trước khi dùng Ollama cho công việc thật, đặc biệt khi máy yếu, khi cần phục vụ nhiều người dùng cùng lúc hoặc khi định mở Ollama ra mạng.
Yêu cầu phần cứng cao
Đây là hạn chế chính. Để chạy model lớn với tốc độ dùng được, Ollama cần GPU có đủ VRAM; trên CPU, model vẫn chạy nhưng chậm, và model nhỏ thì dễ trả lời sai hơn.
Phụ thuộc vào kết nối internet ban đầu để tải mô hình
Mặc dù Ollama cho phép chạy các mô hình ngoại tuyến sau khi tải xuống, nhưng quá trình tải mô hình ban đầu vẫn yêu cầu kết nối internet ổn định và nhanh chóng. Các mô hình LLM thường có kích thước rất lớn (vài GB đến hàng chục GB), do đó, việc tải xuống có thể mất nhiều thời gian và tiêu tốn đáng kể băng thông mạng.
Tiềm ẩn lỗ hổng bảo mật và thiếu xác thực
Theo FAQ của Ollama, Ollama mặc định chỉ lắng nghe ở 127.0.0.1, cổng 11434. API local này không yêu cầu khoá xác thực, nên nếu đổi OLLAMA_HOST=0.0.0.0 để mở ra mạng, bất kỳ ai truy cập được cổng 11434 đều dùng được model của bạn. Muốn dùng từ máy khác, hãy đặt sau reverse proxy (như Nginx) có xác thực, giới hạn IP bằng tường lửa và luôn cập nhật bản mới.
Khó khăn trong gỡ lỗi và quản lý lỗi
Khi phát triển các ứng dụng tích hợp với Ollama, việc gỡ lỗi các phản hồi từ mô hình hoặc xử lý các lỗi phát sinh có thể phức tạp hơn so với việc sử dụng các nền tảng đám mây có tài liệu và công cụ gỡ lỗi phong phú.
Hạn chế về khả năng mở rộng
Ollama chủ yếu dành cho một máy tính hoặc một máy chủ. Theo FAQ, mỗi model mặc định xử lý 1 yêu cầu song song (OLLAMA_NUM_PARALLEL), và RAM cần tăng theo số yêu cầu song song nhân độ dài ngữ cảnh. Phục vụ nhiều người dùng đồng thời thường cần công cụ như vLLM.
Cập nhật mô hình thủ công
Ứng dụng Ollama trên macOS và Windows tự tải bản cập nhật; trên Linux bạn chạy lại script cài đặt. Riêng model thì không tự cập nhật: khi có bản mới, bạn tải lại bằng ollama pull.
Hướng dẫn cài đặt và sử dụng Ollama
Dùng Ollama với model local không cần đăng ký tài khoản: chỉ cần tải bộ cài, kiểm tra Ollama đang chạy rồi tải model bằng dòng lệnh. Các ảnh dưới đây chụp trên Windows với Ollama 0.9.6 (07/2025); bản hiện tại là v0.40.13 (28/10/2026), giao diện bộ cài có thể đã đổi.
Tải xuống và cài đặt Ollama
Bước 1: Mở trình duyệt web và truy cập trang tải chính thức ollama.com/download.
Bước 2: Trên trang chủ, bạn sẽ thấy các tùy chọn tải xuống cho các hệ điều hành khác nhau macOS, Linux và Windows. Chọn đúng hệ điều hành, tải bộ cài và chạy; trên Windows, nhấn Install như ảnh. Ảnh chụp giao diện tại thời điểm viết bài, có thể đã đổi.
Sau khi cài đặt thành công, Ollama sẽ chạy ngầm trên hệ thống của bạn, sẵn sàng để bạn tương tác.
Mở trình duyệt và truy cập http://localhost:11434. Nếu hiện thông báo “Ollama is running” tức là đã cài đặt thành công.
Bước 3: Ollama chủ yếu được điều khiển thông qua giao diện dòng lệnh (CLI). Bạn có thể mở terminal (hoặc Command Prompt (CMD)/PowerShell trên Windows) để bắt đầu.
Ví dụ: Tino sẽ cài đặt Ollama trên Windows, tại cửa sổ CMD, gõ lệnh sau để kiểm tra phiên bản:
ollama --version
Tải và chạy một mô hình AI
Tải một mô hình (ví dụ Llama 3 như trong ảnh; Llama 3 là model cũ, bạn có thể thay bằng gemma4 hoặc qwen3.8 theo tên trên thư viện Ollama):
ollama pull llama3
Chạy mô hình LLaMA 3:
ollama run llama3
Sau đó, bạn có thể bắt đầu gõ câu hỏi và trò chuyện với mô hình trực tiếp trong CMD. Bạn có thể hỏi bằng tiếng Việt hoặc tiếng Anh. Trong ảnh, khi được hỏi “what is ollama”, Llama 3 trả lời Ollama là một trò chơi âm nhạc: đây là ví dụ model bịa thông tin (hallucination) khi không biết, nên hãy kiểm chứng câu trả lời với việc quan trọng.
Kết thúc phiên chat:
Gõ /bye hoặc nhấn Ctrl + D. Nếu model đang trả lời dở, nhấn Ctrl + C để dừng câu trả lời trước.
Liệt kê các mô hình đã cài đặt:
ollama listMột số lệnh cơ bản của Ollama:
Lệnh Chức năng ollama run <tên_mô_hình>Chạy mô hình (tự tải nếu chưa có) ollama pull <tên_mô_hình>Tải hoặc cập nhật mô hình ollama listXem danh sách mô hình đã tải ollama psXem mô hình đang nạp trong bộ nhớ, chạy bằng GPU hay CPU ollama rm <tên_mô_hình>Xoá mô hình khỏi máy ollama create <tên> -f ModelfileTạo mô hình tuỳ chỉnh từ Modelfile ollama serveChạy server Ollama khi không dùng ứng dụng nền (thường dùng trên Linux)
Sử dụng giao diện người dùng web (tùy chọn)
Ngoài CLI và API, cộng đồng Ollama cũng đã phát triển nhiều giao diện người dùng web (WebUI) thân thiện, giúp việc tương tác với Ollama trở nên dễ dàng hơn cho những người không quen thuộc với dòng lệnh. Một trong những WebUI phổ biến là Open WebUI (trước đây là Ollama WebUI):
Bạn có thể cài Open WebUI bằng Docker hoặc cách khác theo hướng dẫn trên GitHub của dự án. Sau khi cài, Open WebUI cho giao diện chat giống ChatGPT: chọn model, nhập câu hỏi, lưu lịch sử chat và quản lý model mà không cần gõ lệnh. Ảnh minh hoạ giao diện Open WebUI tại thời điểm viết bài (đã che tên tài khoản), có thể đã đổi.
Kết nối Ollama với ứng dụng, AI agent và VPS
Ngoài chat trong terminal, Ollama thường được dùng làm nơi cung cấp model cho ứng dụng khác qua API ở cổng 11434. Ứng dụng viết cho OpenAI chỉ cần đổi base URL sang Ollama; agent và công cụ tự động hoá cũng nối được theo cách này, trên máy tính hoặc trên VPS.
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama") # api_key bắt buộc nhưng Ollama không kiểm
r = client.chat.completions.create(model="gemma4", messages=[{"role": "user", "content": "Xin chào"}])
print(r.choices[0].message.content)Ollama hỗ trợ một phần API tương thích OpenAI (đối chiếu 29/10/2026). Một số cách nối thường gặp:
- Tự động hoá: n8n có node kết nối Ollama để dùng model local trong workflow, xem n8n là gì.
- AI agent: OpenClaw và Hermes Agent nhận model qua endpoint tương thích OpenAI, nên trỏ được về Ollama.
- Giao diện khác: nếu thích giao diện đồ hoạ để tải model, xem LM Studio; so sánh các công cụ ở bài công cụ chạy local model.
Trên VPS Linux, theo tài liệu Linux của Ollama, bạn cài bằng lệnh curl -fsSL https://ollama.com/install.sh | sh; script tạo dịch vụ systemd để Ollama chạy nền. Giữ Ollama ở 127.0.0.1 nếu agent chạy cùng máy. VPS thông thường chỉ có CPU, nên hợp với model nhỏ đã lượng tử hoá, hoặc để VPS chạy agent và gọi API cloud cho việc nặng. Các hướng này được so sánh ở bài local model là gì.
Cần máy chủ chạy 24/7 cho agent hoặc API proxy? VPS NVMe của Tino đặt tại Việt Nam, có quyền root. Xem cấu hình và giá trên trang sản phẩm.
Kết luận
Ollama là cách gọn để chạy model AI mở trên máy tính hoặc máy chủ: phần mềm miễn phí, mã nguồn mở, chạy được khi không có mạng sau khi tải model, có API cho ứng dụng và agent. Hiệu quả phụ thuộc phần cứng và model; với việc khó hoặc máy yếu, nên cân nhắc API cloud.
Câu hỏi thường gặp
Ollama AI có miễn phí không?
Có. Phần mềm Ollama miễn phí và mã nguồn mở (MIT); chạy model local không mất phí cấp phép hay phí API. Chỉ cloud model của Ollama mới tính phí theo token hoặc theo gói.
Hai lý do chính để chạy LLM cục bộ với Ollama là gì?
Thường được nêu là chi phí và bảo mật: không trả phí API theo token khi model chạy trên máy, và dữ liệu không phải gửi lên máy chủ bên ngoài. Đổi lại, bạn cần phần cứng đủ mạnh và tự vận hành.
Tôi cần cấu hình máy tính như thế nào để chạy Ollama AI?
Trên Windows cần Windows 10 22H2 trở lên và ít nhất 4GB trống cho bộ cài, cộng dung lượng model (có thể hàng chục GB). Có GPU NVIDIA, AMD được hỗ trợ hoặc Mac Apple Silicon thì nhanh hơn nhiều; chỉ có CPU vẫn chạy được model nhỏ nhưng chậm. Tài liệu Ollama không nêu RAM tối thiểu: model càng lớn càng cần nhiều RAM hoặc VRAM.
Tôi có thể sử dụng Ollama AI ngoại tuyến không?
Có. Bạn chỉ cần Internet để tải Ollama và model; sau đó mọi câu hỏi với model local được xử lý trên máy. Cloud model thì luôn cần Internet.
Open WebUI mang lại lợi ích gì khi sử dụng với Ollama?
Open WebUI cho giao diện chat thân thiện trên trình duyệt để chọn và quản lý model, lưu lịch sử trò chuyện, thay cho việc gõ lệnh trong terminal. Nó không làm model chạy nhanh hơn hay giảm bộ nhớ cần dùng.
Ollama AI có phù hợp cho doanh nghiệp không?
Phù hợp khi doanh nghiệp cần xử lý tài liệu nội bộ trên hạ tầng riêng, số người dùng đồng thời không lớn và có người vận hành. Cần cấu hình bảo mật (không mở cổng 11434 ra Internet, đặt sau proxy có xác thực) và kiểm giấy phép từng model trước khi dùng thương mại.
