Mã nguồn mở bởi D4Vinci
Scrapling là thư viện Python mã nguồn mở để lấy dữ liệu từ trang web, từ một lần gửi yêu cầu cho tới thu thập cả website. Thư viện gom phần tải trang, phần đọc HTML, trình duyệt chạy ngầm và bộ crawl vào một chỗ, đồng thời có máy chủ MCP để AI agent như Claude Code tự lấy dữ liệu web.
Ảnh và video lấy từ README của dự án trên GitHub, bản quyền thuộc nhóm phát triển.
Kiểm tra tự động ngày 23/11/2026 từ dữ liệu GitHub, OSV.dev và docker-compose. Đây không phải chứng nhận bảo mật; Tino không phát triển hay bảo trì repo này.
Code lấy dữ liệu web thường chọn phần tử bằng một đường dẫn CSS hoặc XPath cố định. Khi website đổi giao diện, đường dẫn đó không còn khớp và code trả về kết quả rỗng mà không báo lỗi. Scrapling có chế độ adaptive để xử lý chuyện này: lần đầu chạy với auto_save=True, thư viện lưu các đặc điểm của phần tử (tên thẻ, chữ, thuộc tính, phần tử anh em, đường dẫn, phần tử cha) vào cơ sở dữ liệu SQLite. Lần sau gọi với adaptive=True, nếu đường dẫn cũ không còn khớp, thư viện chấm điểm độ giống trên trang mới và trả về phần tử giống nhất. Tài liệu cũng có mục xử lý khi chọn nhầm phần tử, nên vẫn cần kiểm tra kết quả.
Phần tải trang có nhiều lớp. Fetcher gửi yêu cầu HTTP giả lập vân tay TLS và header của trình duyệt, hỗ trợ HTTP/3. StealthyFetcher mở trình duyệt thật cho trang tải nội dung bằng JavaScript; theo tài liệu, lớp này có tuỳ chọn solve_cloudflare để xử lý màn kiểm tra Turnstile/Interstitial của Cloudflare. Các lớp Session giữ cookie và trạng thái giữa nhiều lần gọi, có xoay vòng proxy và chặn khoảng 3.500 tên miền quảng cáo, theo dõi.
Phần Spider có cách viết gần giống Scrapy: khai báo start_urls, viết hàm parse bất đồng bộ, đặt giới hạn đồng thời, có tuỳ chọn tuân theo robots.txt và các mẫu dựng sẵn như CrawlSpider, SitemapSpider. Ngoài thư viện Python còn có lệnh scrapling extract để lưu trang thành Markdown, văn bản hoặc HTML, một shell tương tác và máy chủ MCP cho AI agent. Theo tài liệu, máy chủ MCP lọc bỏ nội dung ẩn trong trang (chữ ẩn bằng CSS, chú thích HTML, ký tự độ rộng bằng 0) trước khi đưa cho model để giảm rủi ro prompt injection.
Dự án do Karim Shoair (D4Vinci) phát triển từ tháng 10/2024, giấy phép BSD-3-Clause. README ghi rõ thư viện dành cho mục đích học tập và nghiên cứu, người dùng phải tuân thủ luật về thu thập dữ liệu và quyền riêng tư, điều khoản của website và robots.txt.
pip install scraplingpip install "scrapling[fetchers]"
scrapling installpip install "scrapling[ai]"pip install "scrapling[shell]"docker pull pyd4vinci/scraplingLệnh chép từ README của dự án. Đọc kỹ trước khi chạy và đối chiếu với README mới nhất, vì lệnh có thể đổi theo phiên bản.
Nâng cấp bằng pip install -U kèm đúng gói phụ đã dùng (ví dụ "scrapling[fetchers]"), rồi chạy lại scrapling install nếu cần cập nhật trình duyệt. Bản 0.5.1 có thay đổi không tương thích ở phần kết nối trình duyệt từ xa; đọc hướng dẫn chuyển đổi trước khi nâng cấp.
Dữ liệu cần sao lưu là file SQLite của chế độ adaptive (nếu dùng) và thư mục crawldir của Spider khi muốn chạy tiếp. README không nêu vị trí mặc định của file SQLite.
Có. Thư viện theo giấy phép BSD-3-Clause, dùng được cho cá nhân và thương mại. Các nhà tài trợ trong README bán proxy, dịch vụ giải captcha; đó là dịch vụ riêng, không bắt buộc để chạy Scrapling.
Không chắc chắn. Thư viện trả về phần tử có điểm giống cao nhất, và tài liệu có mục riêng cho trường hợp không tìm thấy hoặc chọn nhầm. Nên kiểm tra kết quả, nhất là khi trang đổi nhiều.
Tính năng kỹ thuật không làm việc thu thập trở nên hợp lệ. README yêu cầu tuân thủ luật về dữ liệu và quyền riêng tư, điều khoản của website và robots.txt. Chỉ nên thu thập ở nơi được phép.
Được, vì đây là thư viện Python. Có thể cài bằng pip hoặc dùng ảnh Docker có sẵn trình duyệt. Khi crawl số lượng lớn, nên đặt giới hạn tốc độ để không làm quá tải website nguồn.
Tino không phát triển, không sở hữu và không liên kết với Scrapling hay nhóm phát triển D4Vinci. Tên, logo và nhãn hiệu thuộc về chủ sở hữu tương ứng; việc nhắc tới chỉ để mô tả, không có nghĩa là dự án xác nhận hay hợp tác với Tino.
Scrapling được phân phối theo giấy phép BSD-3-Clause của nhóm phát triển. Tino không bảo đảm về tính năng, bảo mật hay mức độ phù hợp của phần mềm; bạn tự chịu trách nhiệm khi cài đặt, cấu hình và sử dụng.
Lệnh cài và thông tin trên trang lấy từ tài liệu công khai của dự án tại thời điểm cập nhật và có thể đã thay đổi. Đọc tài liệu chính thức và sao lưu dữ liệu trước khi chạy trên máy chủ thật.