Để tối ưu chi phí API cho Hermes Agent, kết hợp OpenRouter với prompt caching: phần prompt lặp lại ở mỗi lượt (system prompt, mô tả công cụ, bộ nhớ) được đọc từ cache với giá thấp hơn nhiều so với input thường, với Claude là 0,1 lần giá input. Hoá đơn giảm rõ khi agent chạy nhiều lượt liên tục.
Bài thuộc cụm chọn LLM cho Hermes Agent của chuyên mục Hermes Agent. Bài này giữ nguyên model bạn đang dùng và chỉ cấu hình cache; nếu muốn đổi sang model rẻ hơn, xem LLM giá rẻ cho Hermes Agent. Phần dưới giải thích khái niệm, các bước thực hiện và cách kiểm tra kết quả trên OpenRouter.
Tại sao Hermes Agent tốn chi phí API hơn chatbot thông thường?
Hermes Agent tốn hơn chatbot vì mỗi lượt gọi model gửi kèm một phần prompt cố định lớn, và một tác vụ thường cần nhiều lượt. Trước khi bạn gõ chữ đầu tiên, agent đã đính kèm hướng dẫn hệ thống, danh sách công cụ, danh mục kỹ năng và các tệp ghi nhớ.
Mỗi lượt chạy đều gửi lại một “gói hành lý” lớn
Khi chat với chatbot thường, hệ thống chỉ gửi câu hỏi và một đoạn hướng dẫn ngắn. Hermes Agent thì gửi thêm system prompt, mô tả công cụ (tool schema) của các toolset đang bật, bộ nhớ và file ngữ cảnh. Tài liệu Hermes gọi phần này là “fixed prompt budget”; đo phần của bạn bằng lệnh dưới (Hermes Agent FAQ):
hermes prompt-size
Vòng lặp của agent nhân chi phí lên nhiều lần
Agent không trả lời một lần rồi dừng. Hermes suy nghĩ, gọi công cụ, đọc kết quả rồi suy nghĩ tiếp; mỗi vòng gửi lại toàn bộ “gói hành lý”. Một tác vụ đơn giản có thể kéo theo nhiều lần gọi API, nên chi phí tăng theo số vòng mà người dùng khó nhận ra.
Prompt Caching là gì? Có thể giúp tối ưu chi phí API ra sao?
Prompt caching là cơ chế lưu lại phần đầu của prompt đã xử lý, để các request sau có cùng phần đầu được tính giá đọc cache thay vì giá input đầy đủ. Điều kiện là phần đầu đó phải giống hệt lần trước và còn trong thời hạn cache (TTL).
- Không có prompt caching: system prompt + tools + context + câu hỏi mới → tính lại toàn bộ.
- Có prompt caching: phần đã cache + câu hỏi mới → phần đã cache tính giá đọc cache, chỉ phần mới tính giá input.
Hãy hình dung bạn nộp một tập hồ sơ dày cho cùng một cơ quan nhiều lần trong ngày. Lần đầu nộp đủ và trả phí lưu hồ sơ; từ lần sau chỉ cần nói “dùng lại tập hồ sơ hôm trước” và trả một khoản nhỏ.
Prompt Caching khác Response Caching ra sao?
Prompt caching lưu phần đầu của input, model vẫn tạo câu trả lời mới; response caching lưu nguyên câu trả lời của một request giống hệt và trả lại mà không gọi model. Hai cơ chế độc lập và có thể dùng cùng lúc.
Prompt Caching Response Caching Cache một phần input giống nhau Cache toàn bộ request và response Model vẫn tạo câu trả lời mới Trả lại response đã tạo trước đó Hợp hội thoại nhiều lượt Hợp request giống hệt nhau Giảm giá input token Lần trúng cache không phát sinh token mới Rất hợp AI Agent Hợp retry hoặc tác vụ lặp nguyên trạng
OpenRouter hỗ trợ response caching qua header X-OpenRouter-Cache; cache gắn với từng API key (OpenRouter: response caching). Hermes có sẵn cấu hình cho cơ chế này và bật mặc định (cli-config.yaml.example).
Cách tối ưu chi phí API cho Hermes Agent bằng OpenRouter và Prompt Caching
Quy trình gồm tám bước: kết nối OpenRouter, chọn model hỗ trợ cache, đặt TTL, giữ model và phần đầu prompt ổn định, tận dụng response caching, kiểm tra kết quả trên OpenRouter và đặt hạn mức chi tiêu. Bước 3 (đặt TTL) và bước 7 (kiểm cached_tokens) quyết định cache có giảm hoá đơn hay không.
Bước 1: Kết nối Hermes Agent với OpenRouter
Tino đã có hướng dẫn riêng cho phần này: kết nối Hermes Agent với OpenRouter dùng GPT và Claude. Sau khi Hermes gọi model thành công qua OpenRouter, tiếp tục tối ưu prompt caching.
Bước 2: Chọn model phù hợp với Prompt Caching
Nếu muốn dùng cơ chế prompt caching mà Hermes điều khiển trực tiếp, Claude là lựa chọn dễ triển khai: khi gọi Claude qua OpenRouter hoặc Anthropic API, Hermes đặt điểm cache (cache_control) theo TTL bạn cấu hình. OpenAI, Grok, Moonshot, DeepSeek, Z.AI và Gemini 2.5 trở lên tự cache ở phía nhà cung cấp, không cần cache_control (OpenRouter: prompt caching).
Lưu ý: không nên chọn model chỉ dựa trên mức giảm khi cache. Cần cân thêm:
- Giá input.
- Giá output.
- Chất lượng phản hồi.
- Khả năng gọi tool.
- Context window.
- Tốc độ phản hồi.
- Mức độ phù hợp với khối lượng việc.
Model rẻ hơn nhưng tạo output quá dài hoặc cần nhiều vòng sửa chưa chắc cho tổng chi phí thấp hơn. Prompt quá ngắn cũng không được cache: OpenRouter ghi mức tối thiểu khoảng 1.024 token với OpenAI, từ 512 đến 4.096 token với Anthropic tuỳ model.
Bước 3: Cấu hình TTL cho Prompt Caching
Hermes Agent hỗ trợ ba giá trị:
prompt_caching:
cache_ttl: "5m"
hoặc:
prompt_caching:
cache_ttl: "1h"
hoặc:
prompt_caching:
cache_ttl: "auto"
Cấu hình nằm trong file ~/.hermes/config.yaml; mở file bằng:
hermes config edit

Theo tài liệu Configuration, chế độ auto chọn TTL theo loại phiên (Hermes Agent: Configuration, 26/10/2026):
- Phiên có người gõ trực tiếp dùng TTL 1 giờ.
- Phiên chạy tự động (cron, webhook, API, batch) dùng TTL 5 phút; subagent luôn dùng 5 phút.
Giá trị khác “5m”, “1h”, “auto” bị bỏ qua. Với phần lớn người dùng, auto là lựa chọn hợp lý vì không cần tự đổi TTL giữa các loại việc. Sau khi chỉnh cấu hình, mở phiên Hermes mới hoặc khởi động lại gateway để cấu hình mới được nạp.
Bước 4: Giữ model và phiên làm việc ổn định
Prompt caching hiệu quả khi các request sau vẫn dùng cùng model và cùng nhà cung cấp. OpenRouter tự giữ request tiếp theo ở cùng nhà cung cấp (sticky routing) để cache còn dùng được; phiên im lặng quá 10 phút thì hết giữ tuyến, và sticky routing bị bỏ qua nếu bạn đặt thứ tự nhà cung cấp thủ công (OpenRouter: prompt caching).
Một số thao tác làm mất cache hiện tại:
- Đổi model giữa phiên.
- Chuyển provider.
- Fallback sang provider khác.
- Chuyển sang API key khác.
- Cache hết TTL.
Tài liệu Hermes lưu ý đổi model bằng /model làm mất prompt cache, nên lượt kế tiếp đọc lại context ở giá input đầy đủ. Vì vậy không nên đổi model liên tục để tiết kiệm vài request ngắn khi phiên đã có context lớn.
Bước 5: Giữ phần prompt dùng chung càng ổn định càng tốt
Prompt caching chỉ hoạt động khi phần đầu prompt giống hệt giữa các lượt. Phần đầu nên chứa nội dung ít thay đổi:
- System prompt.
- Tool definitions.
- Schema.
- Hướng dẫn cố định.
- Skill.
- Tài liệu tham chiếu dùng xuyên suốt phiên.
Nội dung thay đổi thường xuyên nên nằm về sau:
- Câu hỏi mới.
- Tool result mới.
- Timestamp.
- Trạng thái tạm thời.
- Dữ liệu phát sinh trong từng lượt.
Nếu phần đầu request liên tục thay đổi, khả năng trúng cache giảm. Ngoài ra, bạn nên:
- Không bật/tắt công cụ giữa phiên.
- Không sửa tệp ghi nhớ khi đang chạy tác vụ dài.
- Giữ khoảng cách giữa các lượt dưới TTL (5 phút hoặc 1 giờ).
Bước 6: Tận dụng Response Caching của OpenRouter
Ngoài prompt caching, Hermes Agent hỗ trợ OpenRouter Response Caching. Cấu hình tương ứng:
openrouter:
response_cache: true
response_cache_ttl: 300
Trong đó 300 giây = 5 phút. Theo file cấu hình mẫu của Hermes, response_cache mặc định là true, TTL mặc định 300 giây, đặt được từ 1 đến 86.400 giây.
Response caching hữu ích khi:
- Agent retry cùng request.
- Workflow bị chạy lại.
- Một tác vụ hỏi cùng dữ liệu nhiều lần.
- API client gửi request trùng nhau.
- Một bước trong pipeline bị thực thi lại.
Nếu request giống hoàn toàn và cache còn hiệu lực, OpenRouter trả lại response đã lưu mà không phát sinh lượt suy luận mới. Response caching và prompt caching vẫn là hai cơ chế độc lập.
Bước 7: Kiểm tra Prompt Caching có thật sự tiết kiệm chi phí không
Không nên bật cache rồi giả định chi phí đã giảm. Kiểm tra trực tiếp trên trang Activity trong tài khoản OpenRouter. Trong thông tin usage của request, trường cached_tokens cho biết lượng token đọc từ cache.

OpenRouter còn có cache_write_tokens cho biết lượng token ghi vào cache. Nếu cached_tokens > 0, request đã trúng cache. Trường cache_discount cho biết cache đã tiết kiệm bao nhiêu cho request đó. Với Claude qua OpenRouter, Hermes CLI hiện dòng “Prompt caching: enabled” khi cơ chế này được bật.
Bước 8: Đặt hạn mức chi tiêu để an tâm
Dù đã tối ưu, agent vẫn có thể rơi vào vòng lặp bất ngờ. Nạp số tiền vừa phải và đặt giới hạn credit cho từng API key trong phần quản lý key của OpenRouter để chi phí không vượt tầm kiểm soát.
Prompt Caching có thể tiết kiệm bao nhiêu chi phí?
Với Claude, đọc cache tính 0,1 lần giá input, ghi cache 5 phút tính 1,25 lần và ghi cache 1 giờ tính 2 lần (OpenRouter: prompt caching). Ví dụ với Claude Sonnet 4.6, model trong ảnh cấu hình ở bước 3:
Loại token Chi phí tham khảo Input thông thường 3 USD / 1 triệu token Đọc cache 0,30 USD / 1 triệu token Ghi cache 5 phút 3,75 USD / 1 triệu token Ghi cache 1 giờ 6 USD / 1 triệu token
Giả sử Hermes Agent có khoảng 10.000 token context lặp lại trong 6 lượt liên tiếp với Claude Sonnet 4.6.
Không dùng cache
6 lượt × 10.000 token = 60.000 token
60.000 / 1.000.000 × 3 USD = 0,18 USD
Dùng Prompt Caching 5 phút
Lượt đầu ghi 10.000 token vào cache, 5 lượt sau đọc từ cache:
10.000 / 1.000.000 × 3,75 USD = 0,0375 USD
50.000 / 1.000.000 × 0,30 USD = 0,015 USD
Tổng: 0,0375 + 0,015 = 0,0525 USD
So với 0,18 USD khi không cache, phần context lặp lại trong ví dụ này giảm khoảng 71% chi phí input. Đây chỉ là ví dụ minh hoạ; hoá đơn thực tế còn phụ thuộc:
- Token mới ở mỗi lượt.
- Output token.
- Tool calls.
- Model và provider.
- TTL.
- Số lần cache được tái sử dụng.
- Giá API tại thời điểm sử dụng.
Prompt caching có lợi rõ khi một lượng context lớn được dùng lại nhiều lần. Ví dụ tính chi phí cả tháng cho 8 model, có và không cache, xem bài Hermes Agent 1 tháng tốn bao nhiêu chi phí.
Nên chọn TTL 5 phút, 1 giờ hay Auto?
Chọn TTL theo khoảng cách giữa các lượt: lượt liên tục dưới 5 phút thì 5 phút là đủ và ghi cache rẻ hơn; người dùng hay nghỉ vài phút giữa các lượt thì 1 giờ trúng cache nhiều hơn; không muốn tự quản lý thì để auto.
Kiểu sử dụng TTL phù hợp Chat liên tục 5mAgent loop nhanh 5mCron job 5mWebhook 5mBatch/API tự động 5mNgười dùng chat và nghỉ vài phút 1hPhiên nghiên cứu dài 1hKhông muốn tự quản lý auto
Lưu ý: TTL dài hơn không phải lúc nào cũng rẻ hơn, vì ghi cache 1 giờ đắt hơn ghi cache 5 phút.
Những nguyên nhân khiến Prompt Caching không tiết kiệm như mong đợi
Cache không tiết kiệm khi phần đầu prompt không được dùng lại: quá ngắn để cache, hết TTL trước lượt sau, hoặc bị đổi model, API key, nhà cung cấp. Khi đó bạn vẫn trả phí ghi cache mà không được giảm ở lượt sau. Các trường hợp thường gặp:
- Prompt quá ngắn: phần context chưa đủ lớn để nhà cung cấp tạo cache.
- TTL hết hạn: request tiếp theo đến quá muộn.
- Đổi model giữa phiên: cache của model cũ không dùng lại được.
- Đổi API key: cache có thể gắn với tài khoản hoặc credential đang dùng.
- Provider thay đổi: request được chuyển sang endpoint chưa có cache.
- Prefix thay đổi: system prompt hoặc phần đầu context bị chỉnh thường xuyên.
- Chỉ gửi một request: phí ghi cache có thể cao hơn lợi ích.
- Context liên tục thay đổi: tỷ lệ token đọc được từ cache thấp.
Một số cách giảm thêm chi phí API cho Hermes Agent
Prompt caching chỉ là một phần của bài toán. Kết hợp thêm việc chia model theo độ khó, bớt toolset, nén hội thoại dài và đặt hạn mức để giảm tiếp phần token phải trả. Các cách dưới không đòi đổi model chính, nên áp dụng được ngay cả khi bạn đang hài lòng với chất lượng hiện tại:
- Dùng model mạnh cho nhiệm vụ phức tạp, model rẻ hơn cho tác vụ đơn giản.
- Hạn chế đổi model giữa một phiên context lớn.
- Không đưa tài liệu dài vào prompt khi không thật sự cần.
- Chia Skill theo từng mục đích thay vì tải quá nhiều hướng dẫn cùng lúc.
- Dùng
/compresshoặc để Hermes tự nén khi hội thoại dài. - Dùng model giá thấp cho việc phụ như nén context qua khoá
auxiliary. - Kiểm tra OpenRouter Activity để tìm workflow tiêu thụ token bất thường.
- Đặt giới hạn ngân sách API.
- Giới hạn độ dài output nếu không cần phản hồi dài.
Hermes còn hỗ trợ provider_routing để chọn cách OpenRouter xếp nhà cung cấp. Theo file cấu hình mẫu, sort: "price" là mặc định; đổi sang "throughput" hoặc "latency" khi ưu tiên tốc độ (cli-config.yaml.example).
provider_routing:
sort: "price"
Với hội thoại dài đã có cache tốt, giữ tuyến ổn định đôi khi quan trọng hơn cố giảm một khoản rất nhỏ trên từng request.
Khi nào không cần quá quan tâm đến Prompt Caching?
Prompt caching ít tạo khác biệt khi mỗi tác vụ chỉ có một request ngắn, context đổi hoàn toàn giữa các request, hoặc phần lớn chi phí nằm ở output. Lúc đó công sức cấu hình và theo dõi cache lớn hơn khoản tiết kiệm được. Bạn có thể bỏ qua cơ chế này nếu:
- Chỉ gửi prompt ngắn.
- Mỗi tác vụ chỉ có một request.
- Context thay đổi hoàn toàn giữa các request.
- Dùng model có input rất rẻ.
- Phần lớn chi phí đến từ output token.
- Workflow chủ yếu xử lý các nhiệm vụ độc lập.
Ngược lại, prompt caching đáng quan tâm khi Hermes Agent chạy như trợ lý liên tục, coding agent, research agent, workflow nhiều bước hoặc chạy dài hạn.
Kết luận
Tối ưu chi phí API cho Hermes Agent không bắt buộc phải chuyển sang model rẻ. Với workflow dùng context lớn và lặp lại nhiều lần, OpenRouter kết hợp prompt caching giảm rõ chi phí input mà vẫn giữ model đang dùng. Đo trước bằng hermes prompt-size, bật cache, rồi kiểm cached_tokens trên OpenRouter sau vài ngày.
Muốn chạy Hermes Agent 24/7 mà không tự cài? VPS Hermes Agent của Tino cài sẵn Hermes Agent trên VPS NVMe đặt tại Việt Nam; bạn vẫn có quyền root để cấu hình. Xem cấu hình và giá trên trang sản phẩm.
Bài viết liên quan trong cụm Model & chi phí Hermes:
- Nên chọn LLM nào cho Hermes Agent
- LLM giá rẻ cho Hermes Agent
- Chi phí chạy Hermes Agent mỗi tháng
- Kết nối Hermes Agent với OpenRouter
- Đổi model LLM cho Hermes Agent
Bài khác về Hermes Agent: Hermes Agent Desktop, kết nối Google Workspace với Hermes Agent, cách viết Skill cho Hermes Agent, Hermes Agent nên chạy local hay VPS.
Những câu hỏi thường gặp
Hermes Agent có tự bật Prompt Caching không?
Có. Với Claude qua OpenRouter hoặc Anthropic API, Hermes tự đặt điểm cache theo prompt_caching.cache_ttl (mặc định 5 phút trong file cấu hình mẫu). Các nhà cung cấp tự cache như OpenAI, DeepSeek, Gemini thì không cần cấu hình thêm.
Cắt bớt công cụ và kỹ năng của Hermes có làm Agent kém thông minh đi không?
Chỉ khi bạn tắt nhầm thứ đang cần. Tắt các nhóm công cụ không dùng bằng hermes tools, giữ công cụ cốt lõi và tệp ghi nhớ dự án. Cần tính năng nào thì bật lại sau.
Prompt Caching có làm câu trả lời của Hermes Agent cũ đi không?
Không. Prompt caching chỉ dùng lại phần tính toán cho context đã có; model vẫn xử lý thông tin mới và tạo phản hồi mới cho từng request. Chỉ response caching mới trả lại câu trả lời cũ khi request giống hệt.
Dùng OpenRouter có đắt hơn gọi thẳng API của hãng không?
OpenRouter ghi không cộng thêm phí vào giá suy luận của nhà cung cấp, nhưng có phí khi nạp credit. Bù lại bạn có một tài khoản, đổi model nhanh và theo dõi chi phí tập trung. Xem thêm OpenRouter là gì.
