close

Scrapling

Mã nguồn mở bởi D4Vinci

Scrapling là thư viện Python mã nguồn mở để lấy dữ liệu từ trang web, từ một lần gửi yêu cầu cho tới thu thập cả website. Thư viện gom phần tải trang, phần đọc HTML, trình duyệt chạy ngầm và bộ crawl vào một chỗ, đồng thời có máy chủ MCP để AI agent như Claude Code tự lấy dữ liệu web.

Scrapling dùng để làm gì?

  • Tải trang bằng yêu cầu HTTP nhanh, hoặc mở trình duyệt Chromium, Chrome chạy ngầm cho trang cần chạy JavaScript
  • Chọn dữ liệu trên trang bằng CSS, XPath, tìm theo chữ, biểu thức chính quy hoặc kiểu tìm của BeautifulSoup
  • Tìm lại phần tử đã lưu khi website đổi giao diện, nhờ so sánh độ giống thay vì chỉ dựa vào đường dẫn cũ
  • Crawl nhiều trang với giới hạn tốc độ theo từng tên miền, tạm dừng và chạy tiếp, xuất JSON, JSONL, CSV, XML
  • Cho AI agent duyệt web, chụp màn hình và rút nội dung qua máy chủ MCP

Giao diện và video

Video demo Scrapling

Ảnh và video lấy từ README của dự án trên GitHub, bản quyền thuộc nhóm phát triển.

Cần biết trước khi dùng

  • Lưu ýTino chưa kiểm thử dự án này.

Kiểm tra tự động ngày 23/11/2026 từ dữ liệu GitHub, OSV.dev và docker-compose. Đây không phải chứng nhận bảo mật; Tino không phát triển hay bảo trì repo này.

Scrapling là gì?

Code lấy dữ liệu web thường chọn phần tử bằng một đường dẫn CSS hoặc XPath cố định. Khi website đổi giao diện, đường dẫn đó không còn khớp và code trả về kết quả rỗng mà không báo lỗi. Scrapling có chế độ adaptive để xử lý chuyện này: lần đầu chạy với auto_save=True, thư viện lưu các đặc điểm của phần tử (tên thẻ, chữ, thuộc tính, phần tử anh em, đường dẫn, phần tử cha) vào cơ sở dữ liệu SQLite. Lần sau gọi với adaptive=True, nếu đường dẫn cũ không còn khớp, thư viện chấm điểm độ giống trên trang mới và trả về phần tử giống nhất. Tài liệu cũng có mục xử lý khi chọn nhầm phần tử, nên vẫn cần kiểm tra kết quả.

Phần tải trang có nhiều lớp. Fetcher gửi yêu cầu HTTP giả lập vân tay TLS và header của trình duyệt, hỗ trợ HTTP/3. StealthyFetcher mở trình duyệt thật cho trang tải nội dung bằng JavaScript; theo tài liệu, lớp này có tuỳ chọn solve_cloudflare để xử lý màn kiểm tra Turnstile/Interstitial của Cloudflare. Các lớp Session giữ cookie và trạng thái giữa nhiều lần gọi, có xoay vòng proxy và chặn khoảng 3.500 tên miền quảng cáo, theo dõi.

Phần Spider có cách viết gần giống Scrapy: khai báo start_urls, viết hàm parse bất đồng bộ, đặt giới hạn đồng thời, có tuỳ chọn tuân theo robots.txt và các mẫu dựng sẵn như CrawlSpider, SitemapSpider. Ngoài thư viện Python còn có lệnh scrapling extract để lưu trang thành Markdown, văn bản hoặc HTML, một shell tương tác và máy chủ MCP cho AI agent. Theo tài liệu, máy chủ MCP lọc bỏ nội dung ẩn trong trang (chữ ẩn bằng CSS, chú thích HTML, ký tự độ rộng bằng 0) trước khi đưa cho model để giảm rủi ro prompt injection.

Dự án do Karim Shoair (D4Vinci) phát triển từ tháng 10/2024, giấy phép BSD-3-Clause. README ghi rõ thư viện dành cho mục đích học tập và nghiên cứu, người dùng phải tuân thủ luật về thu thập dữ liệu và quyền riêng tư, điều khoản của website và robots.txt.

Nên dùng khi

  • Bạn cần theo dõi giá, tin tức hoặc dữ liệu công khai trên các website được phép thu thập và muốn code ít phải sửa khi trang đổi giao diện
  • Bạn đang dùng Claude Code, Cursor hoặc agent hỗ trợ MCP và muốn agent tự mở trang, rút nội dung thành Markdown
  • Bạn cần crawl nhiều trang có giới hạn tốc độ, tạm dừng giữa chừng rồi chạy tiếp và xuất ra JSON hoặc CSV
  • Bạn muốn thu thập nội dung website thành Markdown sạch để làm dữ liệu cho hệ thống RAG

Không nên dùng khi

  • Website cấm thu thập dữ liệu trong điều khoản sử dụng hoặc robots.txt: dùng các tính năng giả lập trình duyệt hay xử lý màn kiểm tra bot để lách vẫn là vi phạm, và README tự nhắc người dùng chịu trách nhiệm
  • Bạn định thu thập dữ liệu cá nhân của người khác: cần tuân thủ luật bảo vệ dữ liệu cá nhân, thư viện không tự kiểm soát việc này
  • Bạn cho AI agent quyền dùng máy chủ MCP trên trình duyệt đã đăng nhập tài khoản thật: agent có thể thao tác như bạn trên các trang đó
  • Bạn cần chắc chắn qua được mọi màn kiểm tra bot: tài liệu ghi có những trang ngoại lệ mà bộ xử lý Cloudflare không qua được
  • Máy chỉ có Python dưới 3.10: thư viện yêu cầu Python 3.10 trở lên

Tính năng chính

  • Fetcher, StealthyFetcher và các lớp Session đồng bộ, bất đồng bộ
  • Chế độ adaptive: auto_save lưu đặc điểm phần tử, adaptive=True tìm lại khi trang đổi
  • find_similar() tìm các phần tử giống một phần tử mẫu
  • page.markdown() xuất nội dung trang thành Markdown
  • Spider kiểu Scrapy: giới hạn theo tên miền, AutoThrottle, tạm dừng và chạy tiếp, xuất JSON, JSONL, CSV, XML
  • Máy chủ MCP với các công cụ duyệt web, chụp màn hình, rút nội dung, xem lịch sử mạng
  • Lệnh scrapling extract và shell tương tác
  • Ảnh Docker có sẵn mọi trình duyệt và tính năng phụ

Cách cài đặt Scrapling

  1. Cài phần đọc HTML Cần Python 3.10 trở lên. Bản này chỉ có phần đọc và chọn dữ liệu; import scrapling.fetchers hoặc scrapling.spiders sẽ báo ModuleNotFoundError.
    pip install scrapling
  2. Cài phần tải trang và trình duyệt Lệnh scrapling install tải các trình duyệt cùng thư viện hệ thống cần thiết. Chỉ gửi yêu cầu HTTP thì không cần cài trình duyệt. Cài lại bằng scrapling install --force.
    pip install "scrapling[fetchers]"
    scrapling install
  3. Cài máy chủ MCP cho AI agent (tuỳ chọn) Sau khi cài, thêm vào Claude Code bằng claude mcp add ScraplingServer kèm đường dẫn đầy đủ tới scrapling-mcp (lấy bằng which scrapling-mcp hoặc where scrapling-mcp).
    pip install "scrapling[ai]"
  4. Cài shell và lệnh extract (tuỳ chọn) Thêm lệnh scrapling shell và scrapling extract. Muốn cài mọi tính năng phụ thì dùng pip install "scrapling[all]".
    pip install "scrapling[shell]"
  5. Hoặc dùng ảnh Docker Ảnh có sẵn mọi tính năng phụ và trình duyệt, dựng tự động từ nhánh main. Bản trên GitHub Registry: docker pull ghcr.io/d4vinci/scrapling:latest.
    docker pull pyd4vinci/scrapling

Lệnh chép từ README của dự án. Đọc kỹ trước khi chạy và đối chiếu với README mới nhất, vì lệnh có thể đổi theo phiên bản.

Cách tích hợp và sử dụng

  1. Lấy dữ liệu một trangDùng Fetcher.get(url) rồi page.css('.quote .text::text').getall() để lấy danh sách chữ theo bộ chọn CSS.
  2. Bật chế độ tìm lại phần tửLần đầu chọn phần tử với auto_save=True để lưu đặc điểm. Khi trang đổi, gọi lại cùng bộ chọn với adaptive=True. Nên truyền url hoặc adaptive_domain để dữ liệu của các website không ghi đè nhau.
  3. Lưu nhanh trang thành Markdown từ dòng lệnhChạy scrapling extract get 'https://quotes.toscrape.com/' quotes.md (cần gói scrapling[shell]).
  4. Crawl nhiều trangViết lớp kế thừa Spider với start_urls và hàm parse, chạy .start() rồi xuất kết quả bằng result.items.to_json("quotes.json"). Bật robots_txt_obey nếu muốn tuân theo robots.txt.
  5. Giao việc cho AI agentSau khi thêm máy chủ MCP, yêu cầu agent mở một trang và lấy bảng giá; nên giữ main_content_only ở mặc định để lọc nội dung ẩn.

Cập nhật và sao lưu

Nâng cấp bằng pip install -U kèm đúng gói phụ đã dùng (ví dụ "scrapling[fetchers]"), rồi chạy lại scrapling install nếu cần cập nhật trình duyệt. Bản 0.5.1 có thay đổi không tương thích ở phần kết nối trình duyệt từ xa; đọc hướng dẫn chuyển đổi trước khi nâng cấp.

Dữ liệu cần sao lưu là file SQLite của chế độ adaptive (nếu dùng) và thư mục crawldir của Spider khi muốn chạy tiếp. README không nêu vị trí mặc định của file SQLite.

Câu hỏi thường gặp

Scrapling có miễn phí không?

Có. Thư viện theo giấy phép BSD-3-Clause, dùng được cho cá nhân và thương mại. Các nhà tài trợ trong README bán proxy, dịch vụ giải captcha; đó là dịch vụ riêng, không bắt buộc để chạy Scrapling.

Chế độ adaptive có luôn tìm đúng phần tử sau khi trang đổi không?

Không chắc chắn. Thư viện trả về phần tử có điểm giống cao nhất, và tài liệu có mục riêng cho trường hợp không tìm thấy hoặc chọn nhầm. Nên kiểm tra kết quả, nhất là khi trang đổi nhiều.

Dùng Scrapling để vượt màn kiểm tra bot có hợp pháp không?

Tính năng kỹ thuật không làm việc thu thập trở nên hợp lệ. README yêu cầu tuân thủ luật về dữ liệu và quyền riêng tư, điều khoản của website và robots.txt. Chỉ nên thu thập ở nơi được phép.

Có chạy Scrapling trên VPS được không?

Được, vì đây là thư viện Python. Có thể cài bằng pip hoặc dùng ảnh Docker có sẵn trình duyệt. Khi crawl số lượng lớn, nên đặt giới hạn tốc độ để không làm quá tải website nguồn.

Ứng dụng liên quan

Miễn trừ trách nhiệm

Tino không phát triển, không sở hữu và không liên kết với Scrapling hay nhóm phát triển D4Vinci. Tên, logo và nhãn hiệu thuộc về chủ sở hữu tương ứng; việc nhắc tới chỉ để mô tả, không có nghĩa là dự án xác nhận hay hợp tác với Tino.

Scrapling được phân phối theo giấy phép BSD-3-Clause của nhóm phát triển. Tino không bảo đảm về tính năng, bảo mật hay mức độ phù hợp của phần mềm; bạn tự chịu trách nhiệm khi cài đặt, cấu hình và sử dụng.

Lệnh cài và thông tin trên trang lấy từ tài liệu công khai của dự án tại thời điểm cập nhật và có thể đã thay đổi. Đọc tài liệu chính thức và sao lưu dữ liệu trước khi chạy trên máy chủ thật.