close

Hướng dẫn tối ưu chi phí API cho Hermes Agent bằng OpenRouter và Prompt Caching

Tác giả: Đông Tùng Ngày đăng: 05/10/2026 Chuyên mục: Hermes Agent
Disclosure
Website Tino blog được cung cấp bởi Tino Group. Truy cập và sử dụng website đồng nghĩa với việc bạn đồng ý với các điều khoản và điều kiện trong chính sách bảo mật - điều khoản sử dụng nội dung. Tino Group có thể thay đổi điều khoản sử dụng bất cứ lúc nào. Việc bạn tiếp tục sử dụng Tino blog sau khi thay đổi có nghĩa là bạn chấp nhận những thay đổi đó.
Why Trust Us
Các bài viết với hàm lượng tri thức cao tại Tino blog được tạo ra bởi các chuyên viên Marketing vững chuyên môn và được kiểm duyệt nghiêm túc theo chính sách biên tập bởi đội ngũ biên tập viên dày dặn kinh nghiệm. Mọi nỗ lực của chúng tôi đều hướng đến mong muốn mang đến cho cộng đồng nguồn thông tin chất lượng, chính xác, khách quan, đồng thời tuân thủ các tiêu chuẩn cao nhất trong báo cáo và xuất bản.

Để tối ưu chi phí API cho Hermes Agent, kết hợp OpenRouter với prompt caching: phần prompt lặp lại ở mỗi lượt (system prompt, mô tả công cụ, bộ nhớ) được đọc từ cache với giá thấp hơn nhiều so với input thường, với Claude là 0,1 lần giá input. Hoá đơn giảm rõ khi agent chạy nhiều lượt liên tục.

Bài thuộc cụm chọn LLM cho Hermes Agent của chuyên mục Hermes Agent. Bài này giữ nguyên model bạn đang dùng và chỉ cấu hình cache; nếu muốn đổi sang model rẻ hơn, xem LLM giá rẻ cho Hermes Agent. Phần dưới giải thích khái niệm, các bước thực hiện và cách kiểm tra kết quả trên OpenRouter.

Tại sao Hermes Agent tốn chi phí API hơn chatbot thông thường?

Hermes Agent tốn hơn chatbot vì mỗi lượt gọi model gửi kèm một phần prompt cố định lớn, và một tác vụ thường cần nhiều lượt. Trước khi bạn gõ chữ đầu tiên, agent đã đính kèm hướng dẫn hệ thống, danh sách công cụ, danh mục kỹ năng và các tệp ghi nhớ.

Mỗi lượt chạy đều gửi lại một “gói hành lý” lớn

Khi chat với chatbot thường, hệ thống chỉ gửi câu hỏi và một đoạn hướng dẫn ngắn. Hermes Agent thì gửi thêm system prompt, mô tả công cụ (tool schema) của các toolset đang bật, bộ nhớ và file ngữ cảnh. Tài liệu Hermes gọi phần này là “fixed prompt budget”; đo phần của bạn bằng lệnh dưới (Hermes Agent FAQ):

hermes prompt-size

Vòng lặp của agent nhân chi phí lên nhiều lần

Agent không trả lời một lần rồi dừng. Hermes suy nghĩ, gọi công cụ, đọc kết quả rồi suy nghĩ tiếp; mỗi vòng gửi lại toàn bộ “gói hành lý”. Một tác vụ đơn giản có thể kéo theo nhiều lần gọi API, nên chi phí tăng theo số vòng mà người dùng khó nhận ra.

Prompt Caching là gì? Có thể giúp tối ưu chi phí API ra sao?

Prompt caching là cơ chế lưu lại phần đầu của prompt đã xử lý, để các request sau có cùng phần đầu được tính giá đọc cache thay vì giá input đầy đủ. Điều kiện là phần đầu đó phải giống hệt lần trước và còn trong thời hạn cache (TTL).

  • Không có prompt caching: system prompt + tools + context + câu hỏi mới → tính lại toàn bộ.
  • Có prompt caching: phần đã cache + câu hỏi mới → phần đã cache tính giá đọc cache, chỉ phần mới tính giá input.

Hãy hình dung bạn nộp một tập hồ sơ dày cho cùng một cơ quan nhiều lần trong ngày. Lần đầu nộp đủ và trả phí lưu hồ sơ; từ lần sau chỉ cần nói “dùng lại tập hồ sơ hôm trước” và trả một khoản nhỏ.

Prompt Caching khác Response Caching ra sao?

Prompt caching lưu phần đầu của input, model vẫn tạo câu trả lời mới; response caching lưu nguyên câu trả lời của một request giống hệt và trả lại mà không gọi model. Hai cơ chế độc lập và có thể dùng cùng lúc.

Prompt CachingResponse Caching
Cache một phần input giống nhauCache toàn bộ request và response
Model vẫn tạo câu trả lời mớiTrả lại response đã tạo trước đó
Hợp hội thoại nhiều lượtHợp request giống hệt nhau
Giảm giá input tokenLần trúng cache không phát sinh token mới
Rất hợp AI AgentHợp retry hoặc tác vụ lặp nguyên trạng

OpenRouter hỗ trợ response caching qua header X-OpenRouter-Cache; cache gắn với từng API key (OpenRouter: response caching). Hermes có sẵn cấu hình cho cơ chế này và bật mặc định (cli-config.yaml.example).

Cách tối ưu chi phí API cho Hermes Agent bằng OpenRouter và Prompt Caching

Quy trình gồm tám bước: kết nối OpenRouter, chọn model hỗ trợ cache, đặt TTL, giữ model và phần đầu prompt ổn định, tận dụng response caching, kiểm tra kết quả trên OpenRouter và đặt hạn mức chi tiêu. Bước 3 (đặt TTL) và bước 7 (kiểm cached_tokens) quyết định cache có giảm hoá đơn hay không.

Bước 1: Kết nối Hermes Agent với OpenRouter

Tino đã có hướng dẫn riêng cho phần này: kết nối Hermes Agent với OpenRouter dùng GPT và Claude. Sau khi Hermes gọi model thành công qua OpenRouter, tiếp tục tối ưu prompt caching.

Bước 2: Chọn model phù hợp với Prompt Caching

Nếu muốn dùng cơ chế prompt caching mà Hermes điều khiển trực tiếp, Claude là lựa chọn dễ triển khai: khi gọi Claude qua OpenRouter hoặc Anthropic API, Hermes đặt điểm cache (cache_control) theo TTL bạn cấu hình. OpenAI, Grok, Moonshot, DeepSeek, Z.AI và Gemini 2.5 trở lên tự cache ở phía nhà cung cấp, không cần cache_control (OpenRouter: prompt caching).

Lưu ý: không nên chọn model chỉ dựa trên mức giảm khi cache. Cần cân thêm:

  • Giá input.
  • Giá output.
  • Chất lượng phản hồi.
  • Khả năng gọi tool.
  • Context window.
  • Tốc độ phản hồi.
  • Mức độ phù hợp với khối lượng việc.

Model rẻ hơn nhưng tạo output quá dài hoặc cần nhiều vòng sửa chưa chắc cho tổng chi phí thấp hơn. Prompt quá ngắn cũng không được cache: OpenRouter ghi mức tối thiểu khoảng 1.024 token với OpenAI, từ 512 đến 4.096 token với Anthropic tuỳ model.

Bước 3: Cấu hình TTL cho Prompt Caching

Hermes Agent hỗ trợ ba giá trị:

prompt_caching:
  cache_ttl: "5m"

hoặc:

prompt_caching:
  cache_ttl: "1h"

hoặc:

prompt_caching:
  cache_ttl: "auto"

Cấu hình nằm trong file ~/.hermes/config.yaml; mở file bằng:

hermes config edit
File config.yaml của Hermes Agent mở bằng nano, khối prompt_caching với cache_ttl 5m

Theo tài liệu Configuration, chế độ auto chọn TTL theo loại phiên (Hermes Agent: Configuration, 26/10/2026):

  • Phiên có người gõ trực tiếp dùng TTL 1 giờ.
  • Phiên chạy tự động (cron, webhook, API, batch) dùng TTL 5 phút; subagent luôn dùng 5 phút.

Giá trị khác “5m”, “1h”, “auto” bị bỏ qua. Với phần lớn người dùng, auto là lựa chọn hợp lý vì không cần tự đổi TTL giữa các loại việc. Sau khi chỉnh cấu hình, mở phiên Hermes mới hoặc khởi động lại gateway để cấu hình mới được nạp.

Bước 4: Giữ model và phiên làm việc ổn định

Prompt caching hiệu quả khi các request sau vẫn dùng cùng model và cùng nhà cung cấp. OpenRouter tự giữ request tiếp theo ở cùng nhà cung cấp (sticky routing) để cache còn dùng được; phiên im lặng quá 10 phút thì hết giữ tuyến, và sticky routing bị bỏ qua nếu bạn đặt thứ tự nhà cung cấp thủ công (OpenRouter: prompt caching).

Một số thao tác làm mất cache hiện tại:

  • Đổi model giữa phiên.
  • Chuyển provider.
  • Fallback sang provider khác.
  • Chuyển sang API key khác.
  • Cache hết TTL.

Tài liệu Hermes lưu ý đổi model bằng /model làm mất prompt cache, nên lượt kế tiếp đọc lại context ở giá input đầy đủ. Vì vậy không nên đổi model liên tục để tiết kiệm vài request ngắn khi phiên đã có context lớn.

Bước 5: Giữ phần prompt dùng chung càng ổn định càng tốt

Prompt caching chỉ hoạt động khi phần đầu prompt giống hệt giữa các lượt. Phần đầu nên chứa nội dung ít thay đổi:

  • System prompt.
  • Tool definitions.
  • Schema.
  • Hướng dẫn cố định.
  • Skill.
  • Tài liệu tham chiếu dùng xuyên suốt phiên.

Nội dung thay đổi thường xuyên nên nằm về sau:

  • Câu hỏi mới.
  • Tool result mới.
  • Timestamp.
  • Trạng thái tạm thời.
  • Dữ liệu phát sinh trong từng lượt.

Nếu phần đầu request liên tục thay đổi, khả năng trúng cache giảm. Ngoài ra, bạn nên:

  • Không bật/tắt công cụ giữa phiên.
  • Không sửa tệp ghi nhớ khi đang chạy tác vụ dài.
  • Giữ khoảng cách giữa các lượt dưới TTL (5 phút hoặc 1 giờ).

Bước 6: Tận dụng Response Caching của OpenRouter

Ngoài prompt caching, Hermes Agent hỗ trợ OpenRouter Response Caching. Cấu hình tương ứng:

openrouter:
  response_cache: true
  response_cache_ttl: 300

Trong đó 300 giây = 5 phút. Theo file cấu hình mẫu của Hermes, response_cache mặc định là true, TTL mặc định 300 giây, đặt được từ 1 đến 86.400 giây.

Response caching hữu ích khi:

  • Agent retry cùng request.
  • Workflow bị chạy lại.
  • Một tác vụ hỏi cùng dữ liệu nhiều lần.
  • API client gửi request trùng nhau.
  • Một bước trong pipeline bị thực thi lại.

Nếu request giống hoàn toàn và cache còn hiệu lực, OpenRouter trả lại response đã lưu mà không phát sinh lượt suy luận mới. Response caching và prompt caching vẫn là hai cơ chế độc lập.

Bước 7: Kiểm tra Prompt Caching có thật sự tiết kiệm chi phí không

Không nên bật cache rồi giả định chi phí đã giảm. Kiểm tra trực tiếp trên trang Activity trong tài khoản OpenRouter. Trong thông tin usage của request, trường cached_tokens cho biết lượng token đọc từ cache.

Biểu đồ Prompt token caching trên OpenRouter: phần token cached và uncached theo ngày

OpenRouter còn có cache_write_tokens cho biết lượng token ghi vào cache. Nếu cached_tokens > 0, request đã trúng cache. Trường cache_discount cho biết cache đã tiết kiệm bao nhiêu cho request đó. Với Claude qua OpenRouter, Hermes CLI hiện dòng “Prompt caching: enabled” khi cơ chế này được bật.

Bước 8: Đặt hạn mức chi tiêu để an tâm

Dù đã tối ưu, agent vẫn có thể rơi vào vòng lặp bất ngờ. Nạp số tiền vừa phải và đặt giới hạn credit cho từng API key trong phần quản lý key của OpenRouter để chi phí không vượt tầm kiểm soát.

Prompt Caching có thể tiết kiệm bao nhiêu chi phí?

Với Claude, đọc cache tính 0,1 lần giá input, ghi cache 5 phút tính 1,25 lần và ghi cache 1 giờ tính 2 lần (OpenRouter: prompt caching). Ví dụ với Claude Sonnet 4.6, model trong ảnh cấu hình ở bước 3:

Loại tokenChi phí tham khảo
Input thông thường3 USD / 1 triệu token
Đọc cache0,30 USD / 1 triệu token
Ghi cache 5 phút3,75 USD / 1 triệu token
Ghi cache 1 giờ6 USD / 1 triệu token
Theo danh mục model OpenRouter ngày 26/10/2026. Claude Sonnet 5.5 hiện có giá 2 / 0,10 / 2,5 / 4 USD cho cùng bốn loại token.

Giả sử Hermes Agent có khoảng 10.000 token context lặp lại trong 6 lượt liên tiếp với Claude Sonnet 4.6.

Không dùng cache

6 lượt × 10.000 token = 60.000 token
60.000 / 1.000.000 × 3 USD = 0,18 USD

Dùng Prompt Caching 5 phút

Lượt đầu ghi 10.000 token vào cache, 5 lượt sau đọc từ cache:

10.000 / 1.000.000 × 3,75 USD = 0,0375 USD
50.000 / 1.000.000 × 0,30 USD = 0,015 USD
Tổng: 0,0375 + 0,015 = 0,0525 USD

So với 0,18 USD khi không cache, phần context lặp lại trong ví dụ này giảm khoảng 71% chi phí input. Đây chỉ là ví dụ minh hoạ; hoá đơn thực tế còn phụ thuộc:

  • Token mới ở mỗi lượt.
  • Output token.
  • Tool calls.
  • Model và provider.
  • TTL.
  • Số lần cache được tái sử dụng.
  • Giá API tại thời điểm sử dụng.

Prompt caching có lợi rõ khi một lượng context lớn được dùng lại nhiều lần. Ví dụ tính chi phí cả tháng cho 8 model, có và không cache, xem bài Hermes Agent 1 tháng tốn bao nhiêu chi phí.

Nên chọn TTL 5 phút, 1 giờ hay Auto?

Chọn TTL theo khoảng cách giữa các lượt: lượt liên tục dưới 5 phút thì 5 phút là đủ và ghi cache rẻ hơn; người dùng hay nghỉ vài phút giữa các lượt thì 1 giờ trúng cache nhiều hơn; không muốn tự quản lý thì để auto.

Kiểu sử dụngTTL phù hợp
Chat liên tục5m
Agent loop nhanh5m
Cron job5m
Webhook5m
Batch/API tự động5m
Người dùng chat và nghỉ vài phút1h
Phiên nghiên cứu dài1h
Không muốn tự quản lýauto

Lưu ý: TTL dài hơn không phải lúc nào cũng rẻ hơn, vì ghi cache 1 giờ đắt hơn ghi cache 5 phút.

Những nguyên nhân khiến Prompt Caching không tiết kiệm như mong đợi

Cache không tiết kiệm khi phần đầu prompt không được dùng lại: quá ngắn để cache, hết TTL trước lượt sau, hoặc bị đổi model, API key, nhà cung cấp. Khi đó bạn vẫn trả phí ghi cache mà không được giảm ở lượt sau. Các trường hợp thường gặp:

  • Prompt quá ngắn: phần context chưa đủ lớn để nhà cung cấp tạo cache.
  • TTL hết hạn: request tiếp theo đến quá muộn.
  • Đổi model giữa phiên: cache của model cũ không dùng lại được.
  • Đổi API key: cache có thể gắn với tài khoản hoặc credential đang dùng.
  • Provider thay đổi: request được chuyển sang endpoint chưa có cache.
  • Prefix thay đổi: system prompt hoặc phần đầu context bị chỉnh thường xuyên.
  • Chỉ gửi một request: phí ghi cache có thể cao hơn lợi ích.
  • Context liên tục thay đổi: tỷ lệ token đọc được từ cache thấp.

Một số cách giảm thêm chi phí API cho Hermes Agent

Prompt caching chỉ là một phần của bài toán. Kết hợp thêm việc chia model theo độ khó, bớt toolset, nén hội thoại dài và đặt hạn mức để giảm tiếp phần token phải trả. Các cách dưới không đòi đổi model chính, nên áp dụng được ngay cả khi bạn đang hài lòng với chất lượng hiện tại:

  • Dùng model mạnh cho nhiệm vụ phức tạp, model rẻ hơn cho tác vụ đơn giản.
  • Hạn chế đổi model giữa một phiên context lớn.
  • Không đưa tài liệu dài vào prompt khi không thật sự cần.
  • Chia Skill theo từng mục đích thay vì tải quá nhiều hướng dẫn cùng lúc.
  • Dùng /compress hoặc để Hermes tự nén khi hội thoại dài.
  • Dùng model giá thấp cho việc phụ như nén context qua khoá auxiliary.
  • Kiểm tra OpenRouter Activity để tìm workflow tiêu thụ token bất thường.
  • Đặt giới hạn ngân sách API.
  • Giới hạn độ dài output nếu không cần phản hồi dài.

Hermes còn hỗ trợ provider_routing để chọn cách OpenRouter xếp nhà cung cấp. Theo file cấu hình mẫu, sort: "price" là mặc định; đổi sang "throughput" hoặc "latency" khi ưu tiên tốc độ (cli-config.yaml.example).

provider_routing:
  sort: "price"

Với hội thoại dài đã có cache tốt, giữ tuyến ổn định đôi khi quan trọng hơn cố giảm một khoản rất nhỏ trên từng request.

Khi nào không cần quá quan tâm đến Prompt Caching?

Prompt caching ít tạo khác biệt khi mỗi tác vụ chỉ có một request ngắn, context đổi hoàn toàn giữa các request, hoặc phần lớn chi phí nằm ở output. Lúc đó công sức cấu hình và theo dõi cache lớn hơn khoản tiết kiệm được. Bạn có thể bỏ qua cơ chế này nếu:

  • Chỉ gửi prompt ngắn.
  • Mỗi tác vụ chỉ có một request.
  • Context thay đổi hoàn toàn giữa các request.
  • Dùng model có input rất rẻ.
  • Phần lớn chi phí đến từ output token.
  • Workflow chủ yếu xử lý các nhiệm vụ độc lập.

Ngược lại, prompt caching đáng quan tâm khi Hermes Agent chạy như trợ lý liên tục, coding agent, research agent, workflow nhiều bước hoặc chạy dài hạn.

Kết luận

Tối ưu chi phí API cho Hermes Agent không bắt buộc phải chuyển sang model rẻ. Với workflow dùng context lớn và lặp lại nhiều lần, OpenRouter kết hợp prompt caching giảm rõ chi phí input mà vẫn giữ model đang dùng. Đo trước bằng hermes prompt-size, bật cache, rồi kiểm cached_tokens trên OpenRouter sau vài ngày.

Muốn chạy Hermes Agent 24/7 mà không tự cài? VPS Hermes Agent của Tino cài sẵn Hermes Agent trên VPS NVMe đặt tại Việt Nam; bạn vẫn có quyền root để cấu hình. Xem cấu hình và giá trên trang sản phẩm.

Bài viết liên quan trong cụm Model & chi phí Hermes:

Bài khác về Hermes Agent: Hermes Agent Desktop, kết nối Google Workspace với Hermes Agent, cách viết Skill cho Hermes Agent, Hermes Agent nên chạy local hay VPS.

Những câu hỏi thường gặp

Hermes Agent có tự bật Prompt Caching không?

Có. Với Claude qua OpenRouter hoặc Anthropic API, Hermes tự đặt điểm cache theo prompt_caching.cache_ttl (mặc định 5 phút trong file cấu hình mẫu). Các nhà cung cấp tự cache như OpenAI, DeepSeek, Gemini thì không cần cấu hình thêm.

Cắt bớt công cụ và kỹ năng của Hermes có làm Agent kém thông minh đi không?

Chỉ khi bạn tắt nhầm thứ đang cần. Tắt các nhóm công cụ không dùng bằng hermes tools, giữ công cụ cốt lõi và tệp ghi nhớ dự án. Cần tính năng nào thì bật lại sau.

Prompt Caching có làm câu trả lời của Hermes Agent cũ đi không?

Không. Prompt caching chỉ dùng lại phần tính toán cho context đã có; model vẫn xử lý thông tin mới và tạo phản hồi mới cho từng request. Chỉ response caching mới trả lại câu trả lời cũ khi request giống hệt.

Dùng OpenRouter có đắt hơn gọi thẳng API của hãng không?

OpenRouter ghi không cộng thêm phí vào giá suy luận của nhà cung cấp, nhưng có phí khi nạp credit. Bù lại bạn có một tài khoản, đổi model nhanh và theo dõi chi phí tập trung. Xem thêm OpenRouter là gì.

Đông Tùng

Senior Technology Writer

Là cử nhân Quản trị kinh doanh của Trường Đại học Tài chính - Marketing, Tùng bắt đầu làm việc tại Tino Group từ năm 2021 ở vị trí Content Marketing để thỏa mãn niềm đam mê viết lách của bản thân. Sở hữu khả năng sáng tạo đặc biệt, anh cùng đội ngũ của mình đã tạo nên những chiến dịch quảng cáo độc đáo cùng vô số bài viết hữu ích về nhiều chủ đề khác nhau. Sự tỉ mỉ, kiên trì và tinh thần sáng tạo của Tùng đã góp phần lớn vào thành công của Tino Group trong lĩnh vực marketing trực tuyến.

Xem thêm bài viết

Bài viết liên quan

Xem nhiều