Báo Cáo Tổng Hợp Về Sự Cố Cloudflare Ngày 18/11/2025

Báo Cáo Tổng Hợp Về Sự Cố Cloudflare Ngày 18/11/2025

Quý khách hàng có bất kỳ sự cố nào vui lòng liên hệ kỹ thuật viên của CloudX để được xử lý

Thông báo

Ngày 18/11/2025, Cloudflare – một trong những nhà cung cấp dịch vụ đám mây lớn nhất thế giới, hỗ trợ bảo vệ và tối ưu hóa hàng triệu website – đã gặp phải một sự cố lớn, gây gián đoạn nghiêm trọng trên toàn cầu. Sự cố này không phải do tấn công mạng hay DDoS, mà xuất phát từ một lỗi kỹ thuật nội bộ liên quan đến hệ thống quản lý bot. Hậu quả là hàng loạt nền tảng lớn như X (trước đây là Twitter), ChatGPT, Spotify, Canva và New York Times Games bị ảnh hưởng, dẫn đến lỗi 500 (HTTP 5xx) và thông báo lỗi trên hàng triệu người dùng. Sự cố bắt đầu vào buổi sáng theo giờ Mỹ và kéo dài vài giờ, gây lo ngại về sự mong manh của hạ tầng internet toàn cầu. Theo báo cáo chính thức từ Cloudflare, sự cố đã được khắc phục hoàn toàn vào cuối ngày, nhưng nó đã làm nổi bật nhu cầu cải thiện độ tin cậy của các hệ thống cốt lõi.

Cloudflare or 504 errors – ActiveCampaign Help Center

Nguyên Nhân Gốc Rễ

Theo phân tích hậu sự cố (post-mortem) được công bố trên blog của Cloudflare, nguyên nhân chính là một thay đổi quyền truy cập cơ sở dữ liệu (database permissions) đã khiến hệ thống ClickHouse xuất ra các bản ghi trùng lặp trong file cấu hình "feature file" của dịch vụ Bot Management. File này, được sử dụng để cập nhật điểm số bot dựa trên dữ liệu threat intelligence thời gian thực, đã tăng gấp đôi kích thước (từ mức bình thường lên vượt quá giới hạn phần mềm). Khi file được tải lại định kỳ (mỗi vài phút) trên các máy chủ mạng, nó gây crash cho module bot, dẫn đến lỗi 500 lan rộng đến hệ thống proxy cốt lõi (FL và FL2). Ban đầu, đội ngũ kỹ thuật nghi ngờ đây là cuộc tấn công DDoS quy mô lớn, nhưng sau đó xác định là lỗi nội bộ do thay đổi cấu hình không được kiểm soát chặt chẽ. Sự cố này không liên quan đến bất kỳ hoạt động độc hại nào, mà hoàn toàn từ quy trình vận hành nội bộ.

Thời Gian Mốc Chính (Theo Giờ Việt Nam - UTC+7)

Sự cố diễn ra chủ yếu vào ngày 18/11/2025 theo giờ UTC, nhưng khi chuyển sang giờ Việt Nam (UTC+7), nó bắt đầu từ buổi chiều và kéo dài sang sáng sớm ngày hôm sau. Dưới đây là timeline chi tiết dựa trên dữ liệu từ trang trạng thái chính thức và post-mortem của Cloudflare:

18:48 (18/11/2025, giờ VN): Bắt đầu điều tra (11:48 UTC). Mạng Cloudflare bắt đầu gặp lỗi lớn trong việc chuyển tiếp lưu lượng cốt lõi, hiển thị trang lỗi HTTP cho người dùng truy cập các site khách hàng. Đội ngũ ban đầu nghi ngờ DDoS.
19:03 - 20:21 (18/11/2025): Các cập nhật liên tục về tình trạng gián đoạn, với lỗi tăng cao ở dashboard, dịch vụ ứng dụng và bot scores.
21:30 (18/11/2025): Xác định nguyên nhân cốt lõi – file feature bị nhân đôi kích thước do lỗi database. Dừng lan truyền file lớn và thay thế bằng phiên bản cũ hơn.
23:37 (18/11/2025): Lưu lượng cốt lõi phần lớn khôi phục bình thường (14:30 UTC), nhưng vẫn cần giảm tải cho các phần mạng khác khi traffic quay lại.
02:06 (19/11/2025): Tất cả hệ thống hoạt động bình thường (17:06 UTC). Không còn lỗi tăng cao hoặc độ trễ.
02:28 (19/11/2025): Xác nhận khắc phục hoàn toàn cho cổng hỗ trợ (support portal), kết thúc sự cố chính.

Ngoài ra, một số bảo trì định kỳ tại các trung tâm dữ liệu (datacenter) như Atlanta (ATL), Hong Kong (HKG), Kuala Lumpur (KUL), Sydney (SYD), Tahiti (PPT), Santiago (SCL) và Chennai (MAA) cũng diễn ra trong ngày, nhưng chúng chỉ gây tăng nhẹ độ trễ cục bộ và không liên quan đến sự cố chính.

Phạm Vi Ảnh Hưởng

Sự cố có tác động toàn cầu, ảnh hưởng đến hàng triệu người dùng và doanh nghiệp phụ thuộc vào Cloudflare. Theo Downdetector, số báo cáo lỗi đạt đỉnh hơn 11.000 chỉ riêng trên X, và giảm dần xuống còn khoảng 2.800 vào buổi sáng giờ Mỹ. Phạm vi cụ thể bao gồm:

Dịch Vụ Bị Ảnh Hưởng Trực Tiếp:
- Bot Management: Lỗi điểm số bot (bot scores) dẫn đến chặn sai (false positives) cho lưu lượng hợp pháp.
- Proxy Cốt Lõi (FL/FL2): Lỗi 500 trên FL2; điểm số bot bằng 0 trên FL, gây chặn không mong muốn nếu khách hàng sử dụng quy tắc bot.
- Workers KV và Cloudflare Access: Phụ thuộc proxy, dẫn đến lỗi xác thực và lưu trữ.
- Dashboard và Support Portal: Lỗi đăng nhập và xử lý ticket.
- WARP: Tạm thời vô hiệu hóa truy cập ở London; lỗi ngắt kết nối cho người dùng.
Các Nền Tảng Lớn Bị Ảnh Hưởng:
- X (Twitter): Hàng nghìn báo cáo lỗi truy cập.
- ChatGPT (OpenAI): Gián đoạn dịch vụ.
- Spotify: Lỗi tải ứng dụng và phát nhạc.
- Canva: Lỗi chỉnh sửa và tải tài liệu.
- New York Times Games: Gián đoạn trò chơi trực tuyến.
- Các site khác: Hugging Face, NordVPN, Brain.fm, và hàng triệu website nhỏ sử dụng Cloudflare.
Phạm Vi Địa Lý và Kinh Tế:
- Toàn Cầu: Lỗi ngắt quãng ở mọi khu vực, với độ trễ cao hơn bình thường. Người dùng ở Mỹ, châu Âu, châu Á (bao gồm Việt Nam) đều báo cáo vấn đề từ chiều muộn 18/11.
- Kinh Tế: Gây gián đoạn thương mại điện tử, dịch vụ đám mây và nội dung số. Các chuyên gia như Taylar Rajic từ CSIS cảnh báo đây là minh chứng cho sự phụ thuộc quá mức vào "siêu hạ tầng" như Cloudflare, tăng rủi ro an ninh quốc gia và mở rộng bề mặt tấn công. Sự cố cũng làm chậm lại các hoạt động kinh doanh, ví dụ như ra mắt dịch vụ mới bị trì hoãn.

Trên X, hàng loạt bài đăng từ người dùng và chuyên gia phản ánh sự thất vọng, với một số chỉ trích về tần suất outage gần đây (liên quan đến nhân sự hoặc quy trình).

Các Bước Khắc Phục

Cloudflare đã hành động nhanh chóng sau khi xác định nguyên nhân:

Dừng lan truyền file feature lớn và thay thế bằng phiên bản ổn định.
Giảm tải mạng bằng cách xử lý lưu lượng tăng đột biến khi dịch vụ khôi phục.
Kiểm tra và khôi phục các dịch vụ phụ thuộc như Access và WARP.
Cập nhật liên tục trên trang trạng thái và thông báo cho khách hàng qua email/PagerDuty.
Công bố post-mortem chi tiết để minh bạch.

Logs Chi Tiết Từ Cloudflare (Trích Dẫn Chính Thức)

Dựa trên post-mortem và status page, Cloudflare đã công bố các logs và cập nhật cụ thể sau. Dưới đây là các trích dẫn verbatim từ các nguồn chính thức, tập trung vào error messages và internal logs (dịch sang tiếng Việt trong ngoặc đơn để dễ theo dõi):

Log Khởi Đầu (11:20 UTC): "Cloudflare's network began experiencing significant failures to deliver core network traffic. Initial logs showed a spike in unusual traffic to one of its core services around 6:20 AM Eastern Time." (Mạng Cloudflare bắt đầu gặp lỗi lớn trong việc chuyển tiếp lưu lượng cốt lõi. Logs ban đầu cho thấy spike traffic bất thường đến một dịch vụ cốt lõi.)
Log Điều Tra (11:48 UTC): "Some services may be intermittently impacted. We are investigating and working on a fix." (Một số dịch vụ có thể bị ảnh hưởng ngắt quãng. Chúng tôi đang điều tra và khắc phục.)
Log Root Cause (Sau 13:00 UTC): "The root cause was a bug in generation logic for a Bot Management feature file, which grew beyond an expected size of entries, triggering a crash in the software system." (Nguyên nhân gốc là lỗi trong logic tạo file feature cho Bot Management, file lớn vượt quá kích thước mong đợi, gây crash hệ thống.)
Log Partial Recovery (13:13 UTC): "We've restored dashboard services. Continuing to remediate broad application services impact." (Đã khôi phục dịch vụ dashboard. Tiếp tục khắc phục tác động rộng đến các dịch vụ ứng dụng.)
Log Full Resolution (14:30 UTC): "Incident now resolved. Services are currently operating normally. We are monitoring for any further issues." (Sự cố đã được giải quyết. Dịch vụ đang hoạt động bình thường. Chúng tôi đang theo dõi thêm vấn đề.)
Log Post-Mortem Kết Luận: "Given Cloudflare's importance in the Internet ecosystem, any outage of any of our systems is unacceptable. We apologize to our customers and the internet in general." (Với tầm quan trọng của Cloudflare trong hệ sinh thái Internet, bất kỳ outage nào cũng không thể chấp nhận được. Chúng tôi xin lỗi khách hàng và Internet nói chung.)

Các logs này được tổng hợp từ status page và blog post-mortem, nhấn mạnh vào việc file config tự động cho threat management là yếu tố then chốt gây crash.

Bài Học Rút Ra và Biện Pháp Phòng Ngừa

Sự cố nhấn mạnh nhu cầu cải thiện quy trình thay đổi database và kiểm soát kích thước file tự động. Cloudflare cam kết nâng cao độ tin cậy, bao gồm giới hạn kích thước file và xác thực trước khi tải. Về mặt rộng hơn, các chuyên gia kêu gọi quy định an ninh mạng nghiêm ngặt hơn cho hạ tầng đám mây, như các thượng nghị sĩ Mỹ Mark Warner và Ron Wyden đề xuất giữ nguyên quy tắc FCC chống lại việc nới lỏng dưới thời chính quyền Trump. Doanh nghiệp nên đa dạng hóa nhà cung cấp để tránh phụ thuộc đơn lẻ, và người dùng cá nhân cần chuẩn bị cho các tình huống gián đoạn bằng cách sử dụng VPN dự phòng hoặc cache nội dung.

Dựa trên phân tích từ các nguồn chuyên ngành và kinh nghiệm từ các sự cố trước, dưới đây là các biện pháp phòng ngừa cụ thể, tập trung vào ngữ cảnh Việt Nam – nơi sự cố gây gián đoạn lớn do phụ thuộc vào hạ tầng quốc tế. Các khuyến nghị này nhằm giảm thiểu rủi ro outage tương tự, đặc biệt với DNS và CDN:

Đa Dạng Hóa Nhà Cung Cấp DNS và CDN (Multi-DNS/Multi-CDN): Không nên phụ thuộc hoàn toàn vào một nhà cung cấp như Cloudflare. Sử dụng nhiều DNS resolver để tránh single point of failure. Ví dụ, kết hợp Cloudflare với các nhà cung cấp khác như Google Public DNS (8.8.8.8), OpenDNS, hoặc DNS Việt Nam địa phương (như VNPT DNS 203.113.131.1 hoặc Viettel DNS 203.113.130.1). Trong trường hợp outage, có thể tạm thời chuyển traffic DNS sang nhà cung cấp thứ cấp qua API tự động để đồng bộ hóa. Điều này giúp giảm thời gian downtime từ hàng giờ xuống chỉ vài phút.
Sử Dụng DNS Địa Phương Tại Việt Nam Để Tránh Lỗi: Với các website hướng đến người dùng Việt Nam, việc sử dụng DNS quốc tế như Cloudflare có thể làm chậm tốc độ do traffic phải "đi vòng" qua các server ở Singapore, Hong Kong hoặc Nhật Bản trước khi quay về Việt Nam (đặc biệt trong các sự cố đứt cáp biển). Khuyến nghị: Chuyển sang DNS Việt Nam như FPT DNS (210.245.0.20) hoặc các dịch vụ từ nhà cung cấp nội địa như VinaHost CDN, giúp giảm độ trễ và tránh gián đoạn toàn cầu. Theo các chuyên gia, điều này có thể cải thiện tốc độ tải trang lên đến 50% cho traffic nội địa.
Trỏ DNS Thẳng Về Máy Chủ Việt Nam (Direct Origin Pointing): Đối với website có server/hosting đặt tại Việt Nam (ví dụ: hosting từ Vietnix, HostingViet hoặc MatBao), hãy tắt proxy Cloudflare (chế độ "DNS-only" thay vì "Proxied") và trỏ DNS trực tiếp về IP máy chủ địa phương. Cách thực hiện: Trong dashboard Cloudflare, chỉnh sửa record A/AAAA để chỉ định IP server Việt Nam mà không qua proxy. Lợi ích: Tránh lỗi proxy crash như trong sự cố này, giảm phụ thuộc vào đường truyền quốc tế, và tăng tốc độ truy cập nội địa. Nếu cần bảo mật, kết hợp với firewall địa phương như CSF Firewall để chống DDoS bypass Cloudflare.
Thiết Lập Load Balancing và Failover Thông Minh: Sử dụng tính năng Load Balancing của Cloudflare (nếu vẫn dùng) hoặc các công cụ tương đương từ AWS Route 53 để tự động chuyển hướng traffic sang server dự phòng (active-standby) khi phát hiện outage. Ví dụ: Đặt hai host – một chính tại Việt Nam và một dự phòng – để tự động switch nếu một bên sập.
Giám Sát và Giám Sát Uptime Liên Tục: Triển khai công cụ như UptimeRobot hoặc Pingdom để theo dõi trạng thái DNS/CDN 24/7. Kết hợp với alert từ Downdetector để phát hiện sớm. Đối với doanh nghiệp Việt Nam, khuyến cáo kiểm tra logs truy cập thường xuyên và chuẩn bị kế hoạch dự phòng (BCP) cho outage, bao gồm cache nội dung tĩnh.
Bảo Vệ DDoS và Lớp Bảo Mật Đa Tầng: Kích hoạt DDoS mitigation từ nhiều lớp, như kết hợp Cloudflare với firewall server-side (ví dụ: Vietnix Anti-DDoS). Tránh chỉ dựa vào một nhà cung cấp để giảm rủi ro cascade failure.
Khuyến Nghị Cho Người Dùng Cá Nhân: Thay đổi DNS resolver trên thiết bị sang 1.1.1.1 (Cloudflare) kết hợp với DNS Việt Nam dự phòng, hoặc sử dụng VPN có cache để truy cập nhanh hơn trong outage.

Áp dụng các biện pháp này không chỉ giúp phòng ngừa outage mà còn cải thiện hiệu suất tổng thể, đặc biệt trong bối cảnh Việt Nam với hạ tầng mạng còn phụ thuộc quốc tế.

Bài học là gì?

Sự cố Cloudflare ngày 18/11/2025 là một lời nhắc nhở đau đớn về sự mong manh của internet hiện đại, nơi một lỗi nhỏ có thể làm tê liệt hàng loạt dịch vụ thiết yếu. Mặc dù đã được khắc phục nhanh chóng, nó đã gây thiệt hại lớn về uy tín và kinh tế. Cloudflare đang tiến hành điều tra sâu hơn để ngăn chặn tái diễn, nhưng cộng đồng công nghệ cần hành động tập thể để xây dựng hạ tầng bền vững hơn.

Tài Liệu Tham Khảo

Cloudflare Status: https://www.cloudflarestatus.com/history ,
Post-Mortem Chính Thức: https://blog.cloudflare.com/18-november-2025-outage/ ,
Báo Cáo Từ Các Nguồn Tin:

Trên đây là chia sẻ về Báo Cáo Tổng Hợp Về Sự Cố Cloudflare Ngày 18/11/2025

Trong quá trình thực hiện, nếu gặp bất kỳ khó khăn nào, bạn vui lòng liên hệ các kỹ thuật viên của CloudX để được nhanh chóng hỗ trợ.! Nếu thấy bài viết này hữu ích hãy subscribe để theo dõi những thông tin mới nhất từ CloudX nhé. Chúc các bạn thành công!

Hệ sinh thái của CloudX:

Tư vấn miễn phí hệ thống CNTT cho doanh nghiệp
Miễn phí đăng ký dùng thử Cloud Server, Cloud VPS, Hosting (lưu trữ website, phần mềm, xử lý dữ liệu)
Xmail - Email tên miền doanh nghiệp
Server vật lý, cho thuê chỗ đặt Server tại các Datacenter hàng đầu Việt Nam
Dịch vụ quản trị máy chủ, Outsource CNTT, quản trị hệ thống mạng doanh nghiệp, IT Support
Miễn phí cài đặt, vận hành quản trị Website trường học ảo E-Learning Canvas LMS (được đánh giá LMS E-Learning tốt nhất thế giới)
Triển khai, quản trị Firewall cho doanh nghiệp
Các giải pháp về Monitor, Alert Cảnh báo, Sao lưu - Backup dữ liệu từ xa cho máy chủ, Cloud, VPS.
Thiết kế website chuyên nghiệp