11 công cụ chạy local model phổ biến: so sánh và cách chọn theo nhu cầu

Công cụ chạy local model là phần mềm giúp tải và chạy model AI có trọng số mở trên máy tính hoặc máy chủ của bạn, ví dụ Ollama, LM Studio, Jan hay vLLM. Bài thuộc cụm chạy model local (trang tổng quan: LLM API key miễn phí) và so sánh 11 công cụ theo vai trò, giấy phép, cách kết nối; không có công cụ nào hợp mọi nhu cầu.

Giấy phép và số sao GitHub đối chiếu ngày 29/10/2026 qua GitHub API của từng dự án; phiên bản Ollama, llama.cpp theo trang phát hành trên GitHub, LM Studio theo trang tải chính thức. Các công cụ cập nhật thường xuyên, hãy xem lại trang chính thức trước khi cài.

Tổng quan về local model

Local model là model AI chạy trên thiết bị hoặc máy chủ do bạn kiểm soát, thay vì gọi API cloud; định nghĩa đầy đủ và so sánh với API có ở bài hub local model là gì. Phần dưới đi vào lý do dùng và tiêu chí chọn công cụ.

Lý do local model ngày càng phổ biến

Có bốn lý do chính khiến xu hướng này tăng trưởng mạnh:

• Dữ liệu ở lại trong máy: prompt và tài liệu không phải gửi lên máy chủ bên ngoài, quan trọng với doanh nghiệp xử lý thông tin khách hàng, hồ sơ y tế hay tài liệu pháp lý.
• Không trả phí theo token: sau khi tải model, bạn dùng mà không trả phí theo lượt hay thuê bao; chi phí chuyển sang phần cứng và điện.
• Chạy ngoại tuyến: làm việc không cần Internet, hợp với môi trường cách ly hoặc mạng yếu.
• Tuỳ chỉnh sâu: bạn tự chọn model, mức nén, độ dài ngữ cảnh và cách tinh chỉnh theo dữ liệu riêng.

Tiêu chí chọn công cụ local model phù hợp

Trước khi đưa ra quyết định, bạn cần xác định rõ mục đích sử dụng của mình. Một phần mềm dành cho người mới làm quen sẽ rất khác với hệ thống chạy máy chủ chuyên nghiệp. Dưới đây là những yếu tố quan trọng cần cân nhắc:

• Thân thiện và dễ sử dụng: Nếu không rành kỹ thuật, bạn nên ưu tiên phần mềm có giao diện đẹp, thao tác bằng chuột trực quan và dễ dàng tải mô hình chỉ qua vài cú click.
• Đọc được nhiều loại tệp mô hình: Phần mềm hỗ trợ đa dạng định dạng (như GGUF, Safetensors…) sẽ giúp người dùng thoải mái thử nghiệm nhiều loại trí tuệ nhân tạo khác nhau.
• Khả năng kết nối (API) cho AI Agent: Nếu muốn xây dựng hệ thống tự động hoặc tạo các AI Agent, phần mềm bắt buộc phải cung cấp cổng giao tiếp (API) để các ứng dụng khác dễ dàng kết nối vào.
• Tương thích với cấu hình máy: Hãy chọn công cụ tận dụng được phần cứng đang dùng. Chẳng hạn, máy Mac dùng chip Apple Silicon chạy tốt với Ollama hay LM Studio; trong khi máy tính trang bị card đồ họa rời NVIDIA hợp với vLLM hoặc LocalAI.
• Tính năng đọc tài liệu cá nhân và gọi công cụ: Để xây dựng trợ lý ảo chuyên sâu cho doanh nghiệp, phần mềm cần được trang bị khả năng đọc hiểu tài liệu nội bộ (RAG), tìm kiếm dữ liệu hoặc kết nối với các ứng dụng bên ngoài.
• Cộng đồng đông đảo và cập nhật liên tục: Thế giới AI cục bộ thay đổi chóng mặt mỗi ngày. Lựa chọn một nền tảng có tài liệu hướng dẫn rõ ràng, cộng đồng hỗ trợ lớn và nâng cấp thường xuyên giúp yên tâm hơn khi dùng lâu dài.

11 công cụ chạy local model phổ biến hiện nay

Mười một công cụ dưới đây chia làm bốn nhóm: công cụ chạy model (Ollama, LM Studio, llama.cpp, MLX-LM), ứng dụng chat trên máy (Jan, GPT4All), giao diện, hỏi đáp tài liệu (Open WebUI, AnythingLLM) và phục vụ trên máy chủ (vLLM, LocalAI); Pinokio là trình cài ứng dụng AI.

Ollama: hợp với lập trình viên và AI agent

Website: ollama.com | Giấy phép: MIT | Hệ điều hành: Windows, macOS, Linux

Ollama là công cụ chạy model bằng dòng lệnh, hay được ví như “Docker của AI local”: một lệnh để tải model, một lệnh để chạy, có API sẵn cho ứng dụng khác. Kho ollama/ollama có hơn 185.000 sao trên GitHub (29/10/2026); bản mới nhất là v0.40.13 (28/10/2026).

Xem thêm: Ollama là gì?

Điểm nổi bật:

• Tải và chạy model bằng một lệnh, ví dụ ollama run gemma4.
• API tại http://localhost:11434, có phần tương thích OpenAI.
• Thư viện model trên ollama.com, chạy được cả model GGUF trên Hugging Face; có thêm cloud model (tuỳ chọn, có phí).
• Cộng đồng lớn, nhiều công cụ như Open WebUI, n8n, framework agent có sẵn cách kết nối.

Hạn chế:

• Người mới có thể ngại dòng lệnh; giao diện quản lý thường phải dùng thêm Open WebUI.
• Theo FAQ của Ollama, mỗi model mặc định xử lý 1 yêu cầu song song, chưa hợp với nhiều người dùng nếu không chỉnh cấu hình.
• Tốc độ phụ thuộc nhiều vào phần cứng.

Phù hợp với: lập trình viên, người học AI agent, đội cần một backend model đơn giản cho chatbot hoặc tự động hoá.

LM Studio: hợp với người mới bắt đầu

Website: lmstudio.ai | Giấy phép: miễn phí theo điều khoản sử dụng, mã nguồn đóng | Hệ điều hành: Windows, macOS (Apple Silicon), Linux

LM Studio là phần mềm có giao diện đồ hoạ để tìm, tải và chạy model từ Hugging Face mà không cần dòng lệnh. Bản hiện tại là 0.4.26 (29/10/2026); từ 2026, LM Studio có thêm llmster để chạy nền trên máy chủ và ứng dụng agent riêng tên Bionic.

Xem thêm: LM Studio là gì?

Điểm nổi bật:

• Tìm và tải model GGUF (và MLX trên Mac) ngay trong ứng dụng, có ước tính bộ nhớ trước khi nạp.
• Server API tương thích OpenAI và Anthropic ở cổng 1234, có tuỳ chọn API token.
• SDK Python, TypeScript, CLI lms và MCP; có hướng dẫn kết nối Hermes Agent, OpenClaw, Claude Code, Codex.

Hạn chế:

• Không phải mã nguồn mở; Mac chip Intel không được hỗ trợ.
• Phục vụ nhiều người dùng đồng thời ở quy mô lớn thường cần vLLM hoặc LocalAI.

Phù hợp với: người mới, người làm nội dung, lập trình viên cần thử model nhanh bằng giao diện.

Jan: ứng dụng chat trên máy, chú trọng riêng tư

Website: jan.ai | Giấy phép: Apache 2.0 | Hệ điều hành: Windows, macOS, Linux

Jan là ứng dụng chat mã nguồn mở của Menlo Research, giao diện giống ChatGPT nhưng chạy model trên máy. Theo chính sách quyền riêng tư của Jan (29/10/2026), lịch sử trò chuyện và log lưu trên máy, Jan không thu thập thông tin định danh; nếu bạn nối Jan với API như OpenAI thì dữ liệu sẽ đi tới máy chủ của nhà cung cấp đó.

Điểm nổi bật:

• Mã nguồn công khai, dữ liệu chat lưu cục bộ.
• Hỗ trợ MCP để model dùng công cụ ngoài.
• Kết nối thêm API cloud (OpenAI, Anthropic…) khi cần.

Hạn chế:

• Không nhắm tới máy chủ phục vụ nhiều người dùng.
• Hệ sinh thái tích hợp agent hẹp hơn Ollama và LM Studio.

Phù hợp với: người dùng cá nhân, nhân sự văn phòng muốn một “ChatGPT trên máy”.

GPT4All: dễ cài, có sẵn hỏi đáp tài liệu

Website: nomic.ai/gpt4all | Giấy phép: MIT | Hệ điều hành: Windows, macOS, Linux

GPT4All do Nomic AI phát triển, nổi bật với LocalDocs: trỏ vào thư mục chứa PDF, Word hay văn bản để GPT4All lập chỉ mục và trả lời dựa trên tài liệu đó, hoàn toàn trên máy. Lưu ý: kho mã nomic-ai/gpt4all trên GitHub không có cập nhật mới từ tháng 5/2025 (đối chiếu 29/10/2026), nên model mới có thể chưa được hỗ trợ.

Điểm nổi bật:

• Một file cài đặt, không cần terminal.
• LocalDocs hỏi đáp tài liệu không cần cấu hình thêm.
• Chạy được trên máy không có GPU rời.
• API server tương thích OpenAI ở cổng 4891, chỉ nghe trên 127.0.0.1 (tài liệu GPT4All).

Hạn chế:

• Ít cập nhật gần đây; kém linh hoạt hơn Ollama, LM Studio khi thử model mới.
• Không nhắm tới AI agent phức tạp.

Phù hợp với: người dùng phổ thông, giáo viên, sinh viên muốn hỏi đáp tài liệu riêng trên máy.

Open WebUI: giao diện web giống ChatGPT

Website: openwebui.com | Giấy phép: Open WebUI License (giấy phép riêng dựa trên BSD-3, có điều khoản giữ thương hiệu)

Open WebUI không chạy model mà là lớp giao diện web đặt trên Ollama hoặc các API tương thích OpenAI. Nếu Ollama là phần chạy model, Open WebUI là phần trò chuyện, quản lý người dùng và tài liệu.

Điểm nổi bật:

• Giao diện web nhiều người dùng, có phân quyền.
• Tích hợp RAG, xử lý tài liệu, tìm kiếm web.
• Tự host bằng Docker; dùng nhiều model trong một giao diện.

Hạn chế:

• Cần Docker hoặc môi trường self-host.
• Vẫn cần backend chạy model như Ollama, vLLM hoặc LocalAI.
• Giấy phép riêng: đọc kỹ điều khoản thương hiệu nếu triển khai cho khách hàng.

Phù hợp với: nhóm kỹ thuật, doanh nghiệp muốn giao diện AI nội bộ, người dùng Ollama cần giao diện trực quan.

AnythingLLM: hỏi đáp tài liệu (RAG) và agent

Website: anythingllm.com | Giấy phép: MIT

AnythingLLM của Mintplex Labs tập trung vào RAG: tải tài liệu lên từng workspace rồi trò chuyện với chúng. AnythingLLM dùng được với Ollama, LM Studio hoặc nhà cung cấp cloud, không bó buộc vào một công cụ chạy model.

Điểm nổi bật:

• Workspace riêng cho từng dự án hoặc phòng ban.
• Dùng cả model local lẫn cloud (OpenAI, Anthropic, Google…).
• Agent Flows để dựng quy trình AI không cần code.
• Nhận PDF, Word, Excel, URL website.

Hạn chế:

• Không phải công cụ suy luận lõi; cần một nơi chạy model.
• Cần hiểu cơ bản về embedding và truy xuất ngữ cảnh để có kết quả tốt.

Phù hợp với: doanh nghiệp, đội chăm sóc khách hàng, nhà nghiên cứu cần hỏi đáp tài liệu nội bộ.

vLLM: phục vụ model cho nhiều người dùng

Website: vllm.ai | Giấy phép: Apache 2.0

vLLM là thư viện suy luận dành cho máy chủ, dùng kỹ thuật PagedAttention và continuous batching để phục vụ nhiều yêu cầu đồng thời. Tài liệu cài đặt của vLLM có hướng dẫn cho GPU, CPU và TPU; vLLM phát huy rõ nhất khi chạy trên máy chủ GPU.

Điểm nổi bật:

• Hỗ trợ nhiều GPU trên một máy chủ.
• API tương thích OpenAI.
• Hợp với ứng dụng hoặc nhóm dùng chung một model.

Hạn chế:

• Không dành cho người chỉ muốn chat thử.
• Cài đặt và tối ưu phức tạp hơn công cụ desktop.

Phù hợp với: kỹ sư hạ tầng, startup AI, doanh nghiệp cần API AI nội bộ.

llama.cpp: thư viện lõi chạy model GGUF

Website: github.com/ggml-org/llama.cpp | Giấy phép: MIT

llama.cpp là thư viện C/C++ chạy model ngôn ngữ, khởi đầu bởi Georgi Gerganov, và là nơi định dạng GGUF ra đời. Ollama, LM Studio, Jan và GPT4All đều dùng llama.cpp bên dưới. Kho mã hiện thuộc tổ chức ggml-org (bản phát hành gần nhất v0.8.0 ngày 28/10/2026, đối chiếu 29/10/2026).

Điểm nổi bật:

• Chạy được trên CPU, GPU NVIDIA, AMD, Apple Silicon và nhiều phần cứng khác.
• Nhẹ, không phụ thuộc Python; có llama-server mở API tương thích OpenAI.
• GGUF là định dạng model local phổ biến.

Hạn chế:

• Cần hiểu tham số dòng lệnh: ngữ cảnh, batch, GPU offload.
• Không có giao diện đồ hoạ nếu dùng độc lập.

Phù hợp với: lập trình viên, nhà nghiên cứu, người cần kiểm soát ở cấp thấp hoặc chạy trên thiết bị nhúng.

LocalAI: API tương thích OpenAI cho nhiều loại model

Website: localai.io | Giấy phép: MIT

LocalAI là một điểm cuối API tương thích OpenAI đứng trước nhiều backend: llama.cpp cho văn bản, Whisper cho giọng nói, model tạo ảnh… Nhờ đó, ứng dụng đang gọi OpenAI API có thể chuyển sang hạ tầng tự host mà ít phải sửa code.

Điểm nổi bật:

• Văn bản, hình ảnh, âm thanh trong cùng một API.
• Triển khai bằng Docker, Kubernetes.
• Hợp để thay OpenAI API trong ứng dụng có sẵn.

Hạn chế:

• Cần nhiều kiến thức kỹ thuật hơn LM Studio, GPT4All.
• Hiệu năng phụ thuộc backend được chọn.

Phù hợp với: lập trình viên muốn chuyển từ OpenAI API sang giải pháp tự host.

MLX-LM: chạy model trên Mac Apple Silicon

Website: github.com/ml-explore/mlx-lm | Giấy phép: MIT

MLX-LM là thư viện của Apple (nhóm ml-explore) dựa trên MLX, framework tối ưu cho chip Apple Silicon, dùng để chạy và tinh chỉnh LLM trên Mac. LM Studio cũng dùng MLX làm một engine trên Mac Apple Silicon.

Điểm nổi bật:

• Tối ưu cho Apple Silicon.
• Sinh văn bản và tinh chỉnh (fine-tuning) bằng Python.
• Tải model trực tiếp từ Hugging Face.

Hạn chế:

• Chỉ dành cho Mac Apple Silicon.
• Cần kỹ năng lập trình.

Phù hợp với: lập trình viên dùng Mac, nhà nghiên cứu cần tinh chỉnh model nhẹ.

Pinokio: cài ứng dụng AI bằng một cú nhấp

Website: pinokio.co | Giấy phép: MIT | Hệ điều hành: Windows, macOS, Linux

Pinokio giống một “kho ứng dụng” cho AI local: thay vì tự chạy lệnh git, pip, cài CUDA, bạn tìm ứng dụng trong Pinokio và nhấn cài. Ngoài LLM, Pinokio có cả ứng dụng tạo ảnh, video, giọng nói.

Điểm nổi bật:

• Tự động hoá các bước cài đặt phức tạp.
• Danh mục script do cộng đồng đóng góp.
• Có cả ứng dụng LLM lẫn đa phương tiện.

Lưu ý: mỗi ứng dụng trong Pinokio là script cộng đồng chạy trên máy bạn với quyền của bạn; chỉ cài script từ nguồn bạn tin cậy.

Phù hợp với: người muốn thử nhiều ứng dụng AI mà không tự xử lý cài đặt.

Nên chọn công cụ nào cho từng trường hợp sử dụng?

Cách chọn nhanh là bắt đầu từ việc bạn cần làm: chat trên máy, gọi API từ ứng dụng, hỏi đáp tài liệu, phục vụ nhiều người hay chỉ có CPU. Mỗi trường hợp dưới đây gợi ý một hai công cụ để bắt đầu; sau khi quen, bạn có thể kết hợp nhiều công cụ.

• Mới dùng AI local lần đầu: LM Studio hoặc Jan; cài trong vài phút, giao diện quen thuộc, không cần terminal.
• Lập trình viên cần tích hợp vào ứng dụng: Ollama hoặc LM Studio (API tương thích OpenAI); llama.cpp nếu cần kiểm soát sâu.
• Hỏi đáp tài liệu nội bộ: AnythingLLM; GPT4All (LocalDocs) cho nhu cầu cá nhân đơn giản.
• Nhiều người dùng trong doanh nghiệp: vLLM trên máy chủ GPU, hoặc Open WebUI kết hợp Ollama cho nhóm nhỏ.
• Ưu tiên quyền riêng tư và mã nguồn mở: Jan, Ollama, llama.cpp.
• Muốn thử nhiều ứng dụng AI: Pinokio, nhưng chỉ cài script đáng tin cậy.
• Dùng Mac Apple Silicon: LM Studio (có engine MLX), Ollama hoặc MLX-LM.
• Chỉ có CPU: Ollama, LM Studio, GPT4All hoặc llama.cpp với model nhỏ đã lượng tử hoá.

Gợi ý cấu hình phần cứng cho local model

Cấu hình cần thiết phụ thuộc kích thước model và mức nén, nên không có một con số chung cho mọi máy. Nguyên tắc là model càng lớn càng cần nhiều RAM hoặc VRAM, bản lượng tử hoá nhẹ hơn, GPU có đủ VRAM thì nhanh hơn rõ so với chỉ dùng CPU.

Yêu cầu tối thiểu do nhà phát triển công bố

• LM Studio (System Requirements): khuyên từ 16GB RAM; Windows x64 cần CPU có AVX2 và khuyên GPU có ít nhất 4GB VRAM; Mac phải là Apple Silicon, macOS 14 trở lên.
• Ollama (tài liệu Windows): Windows 10 22H2 trở lên, ít nhất 4GB trống cho bộ cài, chưa kể dung lượng model (có thể hàng chục GB); tài liệu không nêu RAM tối thiểu.
• vLLM: hướng tới máy chủ; xem nhánh GPU, CPU hoặc TPU trong tài liệu cài đặt.

Cách ước lượng trên máy của bạn

• Bắt đầu với model nhỏ, bản lượng tử hoá 4-bit, ngữ cảnh ngắn; tăng dần khi thấy máy còn dư bộ nhớ.
• Dùng ô ước tính bộ nhớ của LM Studio hoặc lệnh ollama ps để xem model đang chạy trên GPU hay CPU.
• Mac Apple Silicon dùng chung RAM cho CPU và GPU, nên dung lượng RAM quyết định cỡ model chạy được.
• Ngữ cảnh dài và nhiều yêu cầu song song làm tăng bộ nhớ cần dùng.

Chạy công cụ local model trên VPS

Các công cụ có bản cho Linux không giao diện như Ollama, llmster của LM Studio, llama.cpp, vLLM, LocalAI và Open WebUI đều chạy được trên VPS. VPS thông thường chỉ có CPU, nên hợp với model nhỏ đã lượng tử hoá hoặc làm nơi chạy agent, giao diện web và gọi API cloud cho việc nặng.

• Giữ API của model ở 127.0.0.1; nếu cần truy cập từ ngoài, đặt sau reverse proxy có xác thực và giới hạn IP.
• LM Studio chạy nền trên máy chủ bằng llmster (tài liệu Headless); Ollama cài bằng script chính thức và chạy dưới dạng dịch vụ systemd.
• So sánh chạy trên máy cá nhân và trên VPS có ở bài local model là gì; hướng dẫn đặt agent lên VPS có ở bài VPS chạy AI agent.

Cần máy chủ chạy 24/7 cho agent hoặc API proxy? VPS NVMe của Tino đặt tại Việt Nam, có quyền root. Xem cấu hình và giá trên trang sản phẩm.

Kết luận

Chọn công cụ chạy local model nên bắt đầu từ nhu cầu: LM Studio hoặc Jan để làm quen, Ollama để tích hợp, AnythingLLM để hỏi đáp tài liệu, vLLM khi phục vụ nhiều người. Chất lượng câu trả lời phụ thuộc model bạn chạy; danh sách model mở có ở bài các mô hình LLM open source.

Nếu mới bắt đầu, bạn không cần chọn công cụ phức tạp nhất. Hãy bắt đầu với một model nhỏ, một công cụ dễ dùng và một nhu cầu thật rõ. Sau khi hiểu cách local model hoạt động, bạn có thể mở rộng sang AI Agent, RAG, API nội bộ hoặc hệ thống tự động hóa chuyên sâu hơn.

Câu hỏi thường gặp