💥 Cloudflare ชี้แจง 1.1.1.1 ล่มทั่วโลก ไม่ใช่ถูกโจมตี แต่เป็นเพราะ 'ตั้งค่าผิดพลาดภายใน'

Cloudflare ออกมายืนยันแล้วว่า เหตุการณ์ที่บริการ DNS Resolver ยอดนิยมอย่าง 1.1.1.1 ล่มทั่วโลก เมื่อวันที่ 14 กรกฎาคมที่ผ่านมา ไม่ได้เกิดจากการโจมตีทางไซเบอร์ หรือการจี้เส้นทางอินเทอร์เน็ต (BGP Hijack) อย่างที่หลายคนเข้าใจผิด 🙅‍♀️ แต่เป็นผลมาจากการ ตั้งค่าภายในผิดพลาด โดยไม่ได้ตั้งใจ

เกิดอะไรขึ้น? 🧐

บริการ 1.1.1.1 ซึ่งเป็น Public DNS Resolver ของ Cloudflare ที่เปิดให้ใช้ฟรีตั้งแต่ปี 2018 ได้ประสบปัญหาหยุดให้บริการชั่วคราวทั่วโลกเมื่อวันที่ 14 กรกฎาคม ทำให้ผู้ใช้งานจำนวนมากไม่สามารถเข้าถึงเว็บไซต์ได้ตามปกติ

สาเหตุหลักมาจาก:

•     การตั้งค่าที่ผิดพลาด: Cloudflare ได้ทำการเปลี่ยนแปลงการตั้งค่าสำหรับระบบ "Data Localization Suite (DLS)" ซึ่งเป็นบริการใหม่ที่กำลังจะเปิดตัวในอนาคต โดยความผิดพลาดเกิดขึ้นตั้งแต่วันที่ 6 มิถุนายน เมื่อมีการเชื่อมโยง IP address ของ 1.1.1.1 ไปยังบริการ DLS ที่ยังไม่ได้เปิดใช้งานจริงโดยไม่ได้ตั้งใจ
•     การอัปเดตครั้งล่าสุด: เมื่อวันที่ 14 กรกฎาคม เวลา 21:48 UTC (ตรงกับวันที่ 15 กรกฎาคม เวลา 04:48 น. ตามเวลาประเทศไทย) Cloudflare ได้อัปเดตเพื่อเพิ่ม "test location" เข้าไปในบริการ DLS นี้ การอัปเดตดังกล่าวได้ไปกระตุ้นให้การตั้งค่าทั้งหมดถูกรีเฟรชทั่วโลก และทำให้การตั้งค่าที่ผิดพลาดซึ่งเชื่อมโยง 1.1.1.1 กับบริการ DLS ที่ยังไม่พร้อมใช้งาน ถูกนำไปใช้จริงในระบบ production 🌍

ผลกระทบและแนวทางการแก้ไข 🛠️

ทันทีที่การตั้งค่าผิดพลาดถูกนำไปใช้จริง IP address ของ 1.1.1.1 และบริการ DNS อื่นๆ ของ Cloudflare ก็ถูกถอดออกจากศูนย์ข้อมูลหลัก และถูกส่งไปยัง "สถานที่แบบออฟไลน์" เพียงแห่งเดียว ทำให้ไม่สามารถเข้าถึงบริการได้ทั่วโลก 🚫

•     ตรวจพบและกู้คืนเร็ว: Cloudflare ตรวจพบปัญหาภายใน 13 นาที และเริ่มแก้ไขทันที โดยเริ่มกู้คืนบริการได้ในเวลา 22:20 UTC (05:20 น. ตามเวลาไทย) และกลับมาให้บริการเต็มรูปแบบในทุกพื้นที่ได้ภายในเวลา 22:54 UTC (05:54 น. ตามเวลาไทย)
•     บริการที่ได้รับผลกระทบ: เหตุการณ์นี้ส่งผลกระทบต่อ IP ranges หลายรายการ รวมถึง 1.1.1.1, 1.0.0.1 และ IPv6 DNS resolver เช่น 2606:4700:4700::1111 และ 2606:4700:4700::1001 โดยเฉพาะอย่างยิ่งบริการที่ใช้โปรโตคอล UDP, TCP และ DNS-over-TLS ได้รับผลกระทบอย่างมาก อย่างไรก็ตาม DNS-over-HTTPS ยังคงใช้งานได้ตามปกติ เนื่องจากใช้เส้นทางผ่าน cloudflare-dns.com

บทเรียนและมาตรการป้องกันในอนาคต 🚀

Cloudflare ยอมรับว่าปัญหานี้สามารถป้องกันได้ หากมีระบบการติดตั้งและปรับใช้การตั้งค่าแบบค่อยเป็นค่อยไป (incremental rollout) เพื่อลดความเสี่ยง 📉
เพื่อป้องกันไม่ให้เกิดเหตุการณ์เช่นนี้อีก Cloudflare จึงวางแผนที่จะ:

1.     ยกเลิกระบบเก่า: เลิกใช้ระบบการจัดการการตั้งค่าแบบเดิมที่อาจก่อให้เกิดข้อผิดพลาด
2.     เปลี่ยนไปใช้ระบบใหม่: เร่งย้ายไปใช้ระบบ Configuration Management ใหม่ที่ใช้ "abstract service topologies" ซึ่งจะช่วยแยกการเชื่อมโยงระหว่างบริการกับ IP address ออกจากกัน ทำให้มีความยืดหยุ่นและลดความเสี่ยงในการตั้งค่าผิดพลาด
3.     ปรับปรุงเอกสารภายใน: ปรับปรุงเอกสารภายในที่เกี่ยวกับโครงสร้างบริการและพฤติกรรมการเชื่อมโยงเส้นทาง (routing) ให้ชัดเจนยิ่งขึ้น เพื่อให้การตรวจสอบความถูกต้องโดยเพื่อนร่วมงาน (peer review) สามารถตรวจพบข้อผิดพลาดได้ดียิ่งขึ้นในอนาคต 🧑‍💻