Local model là gì? Có nên dùng local model cho AI Agent?

Local model (model AI chạy local) là mô hình AI được tải trọng số về và chạy suy luận trên thiết bị hoặc máy chủ do bạn kiểm soát, như máy tính cá nhân, máy trạm có GPU, máy chủ nội bộ hay VPS, thay vì gửi prompt tới API cloud của OpenAI, Google hay Anthropic. Với AI agent, local model giúp giữ dữ liệu trong hạ tầng riêng, đổi lại bạn tự lo phần cứng và vận hành.

Đây là bài tổng quan của cụm “chạy model local” trên Blog Tino: phần mềm chạy model, nơi tải model, model mở nên chọn và đánh đổi khi dùng model miễn phí. Nếu bạn định dùng model qua API thay vì chạy trên máy, xem bài LLM API key miễn phí; khái niệm agent có ở bài AI agent là gì.

Thông tin phần mềm và giấy phép trong bài đối chiếu ngày 29/10/2026 theo trang chính thức của Ollama, LM Studio và vLLM. Các công cụ cập nhật thường xuyên, hãy xem lại trước khi cài.

Đôi nét về local model

Hiểu local model cần nắm hai việc: model là một bộ trọng số (file) có thể tải về, và cần một phần mềm chạy suy luận (inference) để nạp file đó vào RAM hoặc VRAM rồi trả lời. Phần này giải thích khái niệm, so sánh với gọi API và vì sao agent đòi hỏi nhiều hơn chatbot.

Local model là gì?

Local model là mô hình AI được chạy trực tiếp trên thiết bị hoặc hạ tầng do người dùng kiểm soát, chẳng hạn máy tính cá nhân, máy trạm có GPU, máy chủ nội bộ hoặc VPS chuyên dụng. Thay vì gửi prompt lên API cloud, toàn bộ quá trình suy luận được xử lý trong môi trường riêng.

Bạn cài một phần mềm chạy model như Ollama, LM Studio, vLLM hoặc llama.cpp, tải model từ kho như Hugging Face, rồi cho agent gọi tới địa chỉ API trên máy (ví dụ http://localhost:11434 của Ollama, http://localhost:1234/v1 của LM Studio) thay vì API bên ngoài.

Với chatbot thông thường, model chỉ cần đọc câu hỏi và tạo câu trả lời. Với các AI Agent tự trị như Hermes Agent hoặc OpenClaw, yêu cầu phức tạp hơn nhiều. Agent phải hiểu mục tiêu, chia nhỏ nhiệm vụ, chọn công cụ phù hợp, gọi lệnh, đọc kết quả, ghi nhớ ngữ cảnh và tiếp tục xử lý qua nhiều vòng. Vì vậy, local model cho AI Agent cần đáp ứng nhiều yếu tố hơn so với một model chat cơ bản.

Một model dùng tốt cho trò chuyện chưa chắc phù hợp với agent. Lý do là agent cần khả năng gọi công cụ chính xác, giữ context dài, tuân thủ hướng dẫn tốt và hạn chế hành vi tự suy đoán khi thao tác với file, terminal, trình duyệt hoặc API.

Local model khác dùng model qua API thế nào?

Khác biệt chính nằm ở chỗ dữ liệu được xử lý ở đâu và tiền được trả cho cái gì. Local model xử lý ngay trên máy hoặc máy chủ mà bạn quản lý, tốn tiền thiết bị và công sức; model qua API xử lý trên máy chủ của nhà cung cấp, tính tiền theo mức sử dụng.

Tại sao nhiều người muốn dùng local model cho AI Agent?

Có ba lý do chính khiến nhiều người chạy local model cho AI agent: kiểm soát dữ liệu, chi phí khi agent gọi model liên tục, và quyền tuỳ chỉnh toàn bộ phần chạy model. Mỗi lý do đều có cái giá riêng, được nói ở mục ưu nhược điểm ngay sau.

• Thứ nhất là quyền kiểm soát. Khi chạy local model, dữ liệu không cần đi qua API bên ngoài trong quá trình inference. Điều này đặc biệt quan trọng với doanh nghiệp, lập trình viên, nhóm vận hành hệ thống hoặc người dùng xử lý tài liệu nội bộ.
• Thứ hai là chi phí. Nếu agent chạy thường xuyên, gọi model liên tục hoặc xử lý workflow dài, chi phí API có thể tăng nhanh. Local model giúp biến chi phí theo lượt dùng thành chi phí đầu tư phần cứng hoặc hạ tầng cố định hơn.
• Thứ ba là khả năng tùy chỉnh. Người dùng có thể chọn model riêng, cấu hình context, điều chỉnh quantization, thay đổi backend inference, thêm parser tool calling hoặc kết hợp nhiều model cho nhiều vai trò khác nhau.

Tuy nhiên, local model không miễn phí: bạn vẫn trả tiền phần cứng, điện, bảo trì và thời gian cấu hình. Các đánh đổi khi chọn model miễn phí (local hoặc gói free của API) được phân tích ở bài ưu nhược điểm khi dùng model AI miễn phí.

Hai framework agent tự host hay được dùng với local model là OpenClaw và Hermes Agent.

Ưu – nhược điểm khi dùng local model cho AI Agent

Local model cho AI agent mạnh ở quyền riêng tư, chi phí dự đoán được và khả năng chạy độc lập với nhà cung cấp API; điểm yếu là đòi hỏi phần cứng, ngữ cảnh dài tốn bộ nhớ, khả năng gọi công cụ không đều giữa các model và công sức vận hành.

Ưu điểm

• Quyền riêng tư: dữ liệu nhạy cảm (mã nguồn, tài liệu nội bộ, thông tin khách hàng) được xử lý trong môi trường riêng, giảm phụ thuộc vào máy chủ bên thứ ba.
• Chi phí dài hạn dễ dự đoán: với agent chạy liên tục, lặp nhiều workflow, chi phí là phần cứng cố định thay vì hoá đơn tính theo từng token.
• Vận hành độc lập: giảm rủi ro gián đoạn do nhà cung cấp API đổi giá, đổi giới hạn tốc độ hay ngừng model; chạy được cả khi không có Internet.
• Tuỳ biến linh hoạt: chọn model riêng cho từng loại việc (code, suy luận, ngôn ngữ) và dễ kết hợp: chạy local cho việc nhẹ, gọi API cloud cho việc khó.
• Hợp với agent tự host: framework như Hermes Agent hay OpenClaw đều nhận model qua endpoint tương thích OpenAI, nên có thể nối với model chạy local.

Nhược điểm

• Yêu cầu phần cứng khắt khe: Rào cản chính là cần máy tính hoặc máy chủ đủ RAM và VRAM cho model bạn muốn chạy. Phần cứng yếu sẽ khiến AI hiểu sai yêu cầu hoặc mất mạch làm việc.
• Hao tốn tài nguyên cho ngữ cảnh dài: Việc phải ghi nhớ liên tục chuỗi lịch sử thao tác, log lỗi hay tài liệu dung lượng lớn khiến bộ nhớ bị chiếm dụng rất nhanh.
• Kỹ năng gọi công cụ (Tool calling) chưa đồng đều: Nhiều mô hình cục bộ phân tích tốt nhưng lại gọi hàm (function) kém hoặc không ổn định. Việc tìm kiếm một model vừa thông minh vừa thực thi lệnh chuẩn xác là một thách thức.
• Tốc độ có thể thua kém Cloud API: Thời gian phản hồi phụ thuộc hoàn toàn vào cấu hình thiết bị. Ở những tác vụ nhiều bước, tốc độ xử lý thường chậm hơn rõ rệt so với hạ tầng đám mây tối ưu sẵn.
• Thiết lập và bảo trì phức tạp: Đòi hỏi người dùng phải có nền tảng kỹ thuật tốt để cài đặt backend, cấu hình môi trường và xử lý lỗi thay vì chỉ việc nhập API key là dùng được ngay.
• Vẫn tồn tại rủi ro bảo mật: Chạy nội bộ không có nghĩa là an toàn. Hệ thống vẫn có nguy cơ bị tấn công (như prompt injection) hoặc vô tình thực thi lệnh nguy hiểm nếu người quản trị thiếu cơ chế kiểm soát quyền hạn và môi trường cách ly (sandbox).

Khi nào nên dùng và không nên dùng local model cho AI Agent?

Nên dùng local model khi dữ liệu nhạy cảm, khối lượng việc lặp lại lớn và bạn đã có phần cứng phù hợp. Không nên dùng khi cần kết quả ổn định ngay, máy quá yếu, cần lập luận ở mức các model thương mại mới, hoặc chưa có quy trình kiểm soát quyền của agent.

Khi nào NÊN dùng local model cho AI Agent?

• Xử lý dữ liệu nhạy cảm: mã nguồn, tài liệu doanh nghiệp hay dữ liệu khách hàng được xử lý trong mạng nội bộ. Vẫn cần phân quyền truy cập chặt chẽ.
• Tận dụng phần cứng sẵn có: đáng cân nhắc nếu bạn đã có máy trạm GPU hoặc máy chủ riêng. VPS chỉ có CPU thì hợp với model nhỏ, xem mục chạy trên VPS bên dưới.
• Khối lượng việc lớn, lặp lại: quy trình tự động chạy hằng ngày (phân tích log, tạo báo cáo); khối lượng càng lớn thì so với trả tiền API theo token càng dễ có lợi.
• Muốn làm chủ hệ thống: đội kỹ thuật tự kiểm soát mọi thành phần từ bộ nhớ, công cụ đến môi trường chạy (sandbox).
• Có thời gian tối ưu dần: dự án chấp nhận thử nhiều model và cấu hình trước khi chạy thật.

Khi nào KHÔNG NÊN dùng local model?

• Cần kết quả ổn định ngay: dự án phải triển khai nhanh cho khách hàng thì API của các nhà cung cấp lớn thường nhanh và ít rủi ro hơn.
• Thiết bị hiện tại quá yếu: máy văn phòng cơ bản khiến agent phản hồi chậm và dễ mất mạch khi xử lý chuỗi nhiệm vụ dài.
• Cần lập luận rất phức tạp: với thiết kế kiến trúc hệ thống hay phân tích chuyên sâu, model chạy được trên phần cứng cá nhân thường chưa bằng các model thương mại mới.
• Chưa có quy trình bảo mật: không nên triển khai khi chưa có cơ chế giám sát hành động, lưu log và giới hạn quyền truy cập cho agent.

Nên chọn local model như thế nào?

Chọn local model cho agent nên dựa vào việc agent phải làm, không dựa vào điểm benchmark chung. Năm tiêu chí quan trọng là ngữ cảnh, gọi công cụ, tuân thủ hướng dẫn, khả năng code và mức tài nguyên phần cứng; sau đó mới chia model theo nhóm nhu cầu.

Tiêu chí lựa chọn local model cho AI Agent

Không có model nào hợp với mọi tình huống. Hãy quyết định theo nhiệm vụ chính của agent, với các tiêu chí ưu tiên sau:

• Bộ nhớ ngữ cảnh (Context) dài: Phải đủ sức ghi nhớ thông tin cho toàn bộ một quy trình nhiều bước.
• Gọi công cụ (Tool calling) chuẩn xác: gọi đúng hàm, đúng tham số khi kết nối với API, trình duyệt hay hệ thống tệp.
• Tuân thủ mệnh lệnh (Instruction following): bám sát yêu cầu, hạn chế tự ý làm việc ngoài phạm vi.
• Kỹ năng lập trình tốt: quan trọng khi agent như Hermes Agent hoặc OpenClaw phải sửa file, chạy lệnh.
• Tối ưu tài nguyên: Tốc độ phản hồi phải phù hợp với phần cứng, ưu tiên các phiên bản được nén (quantized) chất lượng cao nếu dung lượng VRAM hạn chế.

Giấy phép cũng là tiêu chí: nhiều model “mở” chỉ mở trọng số và có điều khoản riêng, không phải mã nguồn mở hoàn toàn. Danh sách model mở kèm giấy phép có ở bài các mô hình LLM open source; cách đọc model card trên Hugging Face có ở bài Hugging Face là gì.

Phân loại model theo nhu cầu thực tế

• Nhóm thiên về lập trình: chọn các model có bản chuyên code (nhiều dòng như Qwen, DeepSeek, Mistral có bản này) và ngữ cảnh dài để đọc mã nguồn, dò lỗi, thao tác terminal. Kiểm giấy phép trên model card trước khi dùng thương mại.
• Nhóm thiên về gọi công cụ: điểm chat không quan trọng bằng khả năng gọi hàm (function calling). Hãy thử thực tế bằng cách yêu cầu agent đọc file hoặc chạy lệnh giả lập.
• Nhóm thiên về suy luận: dùng để lập kế hoạch, ra quyết định nhiều bước. Cách làm hay gặp là kết hợp: local cho việc nhẹ hằng ngày, đẩy bước phân tích khó lên API cloud.
• Nhóm nhẹ để thử nghiệm: hợp để học cách cài đặt và làm quen, nhưng chưa đủ cho quy trình agent tự chạy trong thực tế.

Các công cụ chạy local model phổ biến

Ba công cụ chạy local model hay gặp là Ollama (dòng lệnh, dễ bắt đầu), LM Studio (giao diện đồ hoạ) và vLLM (phục vụ nhiều người dùng trên máy chủ GPU). Cả ba đều mở API tương thích OpenAI, nên agent đổi qua lại giữa chúng khá dễ.

Ollama: dễ bắt đầu bằng dòng lệnh

Ollama là phần mềm mã nguồn mở chạy model bằng dòng lệnh: cài một lần, tải model bằng ollama pull, chạy bằng ollama run, và mở API tại http://localhost:11434 kèm một phần API tương thích OpenAI. Ollama còn có cloud model dùng không cần GPU trên máy. Bản mới nhất là v0.40.13 (GitHub, 28/10/2026).

Hạn chế: theo FAQ của Ollama, mỗi model mặc định chỉ xử lý 1 yêu cầu song song (biến OLLAMA_NUM_PARALLEL), và RAM cần tăng theo số yêu cầu song song nhân độ dài ngữ cảnh, nên không hợp với nhiều người dùng cùng lúc nếu chưa chỉnh cấu hình.

Xem thêm: Ollama là gì?

LM Studio: giao diện đồ hoạ

LM Studio hợp với người không muốn dùng dòng lệnh: tìm và tải model từ Hugging Face, chat để thử, rồi bật server API tương thích OpenAI ở cổng 1234. Theo trang Integrations của LM Studio (29/10/2026), Hermes Agent và OpenClaw đều nhận LM Studio làm nhà cung cấp model; OpenClaw còn dùng được LM Studio làm nhà cung cấp embedding cho tìm kiếm bộ nhớ (hướng dẫn). Trên máy chủ không giao diện, LM Studio có bản chạy nền llmster.

Xem thêm: LM Studio là gì?

vLLM: phục vụ nhiều người dùng

vLLM là thư viện mã nguồn mở để phục vụ model cho nhiều yêu cầu đồng thời, hay dùng khi một nhóm hoặc một ứng dụng cần chung một model trên máy chủ. Tài liệu cài đặt của vLLM có hướng dẫn cho GPU, CPU và TPU, nhưng việc thiết lập phức tạp hơn Ollama và LM Studio, không hợp với người mới bắt đầu.

So sánh chi tiết hơn các công cụ (kể cả Jan, GPT4All, llama.cpp) có ở bài công cụ chạy local model.

Chạy local model trên máy tính hay trên VPS?

Máy tính có GPU rời hoặc Mac Apple Silicon nhiều RAM hợp để chạy model cỡ vừa. VPS thông thường chỉ có CPU, nên hợp với model nhỏ đã lượng tử hoá hoặc làm nơi chạy agent 24/7 rồi gọi API cloud cho việc nặng. Nhiều người kết hợp cả hai.

• Máy tính cá nhân: hợp để thử model, chat riêng tư, xử lý tài liệu trên máy. Máy tắt thì agent cũng dừng.
• VPS: chạy agent 24/7 với IP cố định. Ollama và llmster của LM Studio (headless) đều chạy được trên Linux không giao diện; không có GPU thì chọn model nhỏ và chấp nhận tốc độ chậm hơn.
• Dù chạy ở đâu, giữ API của model ở 127.0.0.1 hoặc bật xác thực; không mở cổng 11434 hay 1234 ra Internet.

Hướng dẫn đặt agent lên VPS có ở bài VPS chạy AI agent; cài từng agent: OpenClaw trên VPS, Hermes Agent trên VPS. Khái niệm VPS có ở bài VPS là gì.

Cần máy chủ chạy 24/7 cho agent hoặc API proxy? VPS NVMe của Tino đặt tại Việt Nam, có quyền root. Xem cấu hình và giá trên trang sản phẩm.

Kết luận

Local model đáng dùng khi bạn cần giữ dữ liệu trong hạ tầng riêng, agent chạy nhiều việc lặp lại và đã có phần cứng phù hợp. Khi cần độ chính xác cao cho việc khó hoặc phần cứng chưa đủ, API cloud vẫn là lựa chọn thực tế hơn; cách hay gặp là dùng cả hai.

Kết hợp nghĩa là để model local nhận tác vụ đơn giản, lặp lại nhiều, và chuyển tác vụ quan trọng cần độ chính xác sang API cloud. Đây không phải chọn một trong hai mà là dùng đúng công cụ cho đúng việc.

Mục lục cụm chạy model local

Cụm chạy model local trên Blog Tino gồm các bài về phần mềm chạy model, nơi tải model, model mở và đánh đổi khi dùng model miễn phí. Bài nào cũng dẫn về đây và về trang tổng quan LLM API key miễn phí; chọn theo việc bạn đang cần.

• LM Studio là gì? Cách cài và dùng LM Studio chạy AI local
• Ollama là gì? Cách cài Ollama và chạy model bằng dòng lệnh
• Hugging Face là gì? Kho model, dataset và Spaces
• Các công cụ chạy local model: so sánh theo tiêu chí
• Các mô hình LLM open source và giấy phép
• Ưu nhược điểm khi dùng model AI miễn phí cho AI agent

Câu hỏi thường gặp