Apache Airflow คือ management platform ที่ใช้ในการจัดการ workflow และ data pipelines แบบ programmatically ซึ่งจะทำให้กระบวนการที่ซับซ้อนสามารถถูกจัดการได้ง่ายขึ้น
แม้ว่าจะเป็นเครื่องมือที่ใหม่มาก (พัฒนาโดย Airbnb ในปี ค.ศ.2014) แต่ศักยภาพและประโยชน์ของ Apache Airflow ได้ทำให้เครื่องมือตัวนี้เป็นที่นิยมมากในบุคลากรที่ข้องเกี่ยวกับ Data และ Software Development
ดังนั้นถ้าคุณปรารถนาจะทำงานในสาย Data Science อย่างเช่น Data Scientist, Data Analyst หรือ Data Engineer หรือแม้กระทั่ง Software Developer การใช้งาน Apache Airflow จึงเป็นหนึ่งในทักษะที่ควรมีไว้เป็นอย่างยิ่งเลยครับ
ในคอร์สนี้ ผมจึงจะมาแนะนำว่าคอร์สสอน Apache Airflow ออนไลน์ที่น่าเรียนมีคอร์สไหนบ้าง เราไปเริ่มต้นกันเลยดีกว่าครับ
ข้อควรทราบ:
- เนื่องจาก Apache Airflow ถูกเขียนขึ้นโดยใช้ Python ดังนั้นคุณควรจะมีพื้นฐานการใช้งาน Python มาก่อน นอกจากนี้บางคอร์สอาจจะมี requirement พิเศษเพิ่มเข้ามาด้วยครับ
- ราคาคอร์สอาจจะเปลี่ยนไปได้ (เพราะ Udemy มีลด 90%) ดังนั้นโปรดตรวจสอบราคาให้ดีก่อนที่จะซื้อเสมอครับ
แนะนำ Udemy (โปรดอ่านก่อน)
ทุกคอร์สสอน Apache Airflow ที่ผมจะแนะนำจะอยู่ใน Udemy ดังนั้นถ้าใครยังไม่รู้จักแพลตฟอร์มนี้มาก่อนเลย ผมแนะนำให้คุณอ่านรายละเอียดต่างๆ ในบทความแพลตฟอร์มเรียนออนไลน์ที่ผมได้เขียนไว้ครับ
สิ่งหนึ่งที่ผมต้องขอเน้นก็คือ เวลาซื้อคอร์ส คุณควรซื้อในช่วงลดราคาเท่านั้นครับ เพราะ Udemy มีลดราคาบ่อยมากๆ แทบทุกสัปดาห์ และราคาคอร์สจะเหลือแค่ 300-500 บาทเท่านั้นเอง เปิดโอกาสให้คุณได้คอร์สดีๆ ในราคาถูก
สมมติว่าคุณเข้าไปแล้ว คอร์สอยู่ที่ราคาเต็ม ผมแนะนำให้รอ 2-5 วันแล้วค่อยซื้อ หรือว่าสมัครแจ้งเตือนกับ Victory Tale ไว้ก็ได้ครับ
1. Mastering Apache Airflow! Deploy to Kubernetes in AWS
คอร์สสอน Apache Airflow ของ Mikhail Petkov ผู้เป็น Big Data Engineer ที่บริษัทชั้นนำของโลกมานานถึงเกือบ 10 ปีแล้ว ในคอร์สนี้เขาจะมาสอนคุณใช้งาน Apache Airflow อย่างละเอียดเลยครับ
สิ่งที่คุณจะได้เรียนมีดังต่อไปนี้
- พื้นฐานของ Apache Airflow
- โครงสร้างของ Apache Airflow อย่างเช่น Scheduler, Web Server เป็นต้น
- Apache Airflow Configuration และ Internal Components อย่างเช่น DAG และ Plugin
- การสร้าง Pipeline เบื้องต้น
- การใช้งาน Apache Airflow ระดับสูงอย่างเช่น Airflow REST API
- การสร้าง Docker Image ของ Apache Airflow
- การใช้ Apache Airflow ใน Kubernetes
- ใช้ Pandas ในการสร้าง DAG Executing ETL
- Deploy pipeline ของคุณไปยัง Kubernetes Cluster บน AWS
- เคล็ดลับในการสร้าง Apache Airflow Apps ที่มีประสิทธิภาพ
รวมเนื้อหาคอร์สนี้จะอยู่ที่ 6 ชั่วโมงครับ คุณจะได้เรียนทั้งภาคทฤษฎีและภาคปฏิบัติ โดยรวมแล้วเนื้อหาจัดว่ากระชับ แต่ก็ครบถ้วนครับ
เสียงของครูผู้สอนถือว่าชัดเจนครับ แม้ว่าเขาจะไม่ได้เป็นเจ้าของภาษาก็ตาม ในช่วงแรกอาจจะรู้สึกฟังยากเล็กน้อยเพราะเป็นสำเนียงยุโรปตะวันออก แต่โดยรวมไม่น่าจะมีปัญหาในการเรียนครับ
คอร์สนี้ได้คะแนนไป 4.6/5.0 จากนักเรียนกว่า 550 คน
2. Apache Airflow | A Real-Time & Hands-On Course on Airflow
คอร์สสอน Apache Airflow ที่จัดทำโดยทีม A to Z Mentors ทีมผู้เชี่ยวชาญที่มีประสบการณ์ในอุตสาหกรรม IT มานานนับสิบปีครับ
การสอนในคอร์สนี้จะใช้ระบบ project-based กล่าวคือคุณจะได้ deploy workflows และ data pipeline ของคุณโดยใช้ Apache Airflow และ Docker ครับ
ทั้งนี้เนื้อหาส่วนทฤษฎีจะถูกสอนผ่านตัวอย่างและการปฏิบัติจริงนั่นเอง
เนื้อหาที่คุณจะได้เรียนประกอบด้วย
- โครงสร้างและเนื้อหาระดับพื้นฐานของ Apache Airflow และ Airflow UI
- เริ่มโปรเจคการสร้าง Report
- Operators, Airflow CLI, Executors, XComs
- เนื้อหาระดับสูงอย่างเช่น Hooks, Pools, Sensors, Backfill ฯลฯ
- Data Profiling, SubDAGs, Plugins
- เนื้อหาปลีกย่อยอื่นๆ
สำหรับเรื่องการบรรยาย ครูผู้สอนมีสำเนียงอินเดีย ซึ่งหลายคนอาจจะไม่ชินแต่ผมไม่ได้รู้สึกว่าเข้าใจยากแต่อย่างใดครับ
คอร์สนี้มีความยาว 6 ชั่วโมง และได้คะแนนไป 4.5/5.0 จากนักเรียน 2,800 คน
3. Apache Airflow: Complete Hands-On Beginner to Advanced Class
คอร์สนี้เป็นตัวเลือกที่น่าสนใจของคอร์สที่ 2 ครับ นั่นคือแนวทางการสอนจะคล้ายกันคือเป็นแบบ project-based ตัวคอร์สสอนโดย Alexandra Abbas ซึ่งเป็น Google Cloud Certified Data Engineer ครับ
ในการเรียน คุณจะได้ลองสร้าง Pipeline โดยใช้ Apache Airflow โดยจะมีรายละเอียดต่อไปนี้
- แนะนำพื้นฐานของ Apache Airflow และคอนเซปต์ที่สำคัญอย่างเช่น DAG, Operator, Airflow CLI ฯลฯ)
- การโหลดข้อมูลสู่ Data Warehouse
- วิเคราะห์ข้อมูลโดยใช้ PySpark
- ใช้ Custom Plugins ในการ extend airflow (สร้าง custom sensor และ operator)
- ทำ Testing สำหรับ Airflow DAGs (Directed acyclic graphs)
- ตรวจสอบและดูแล Airflow โดยใช้ Prometheus และ Grafana
- หา Error โดยใช้ Sentry
- และอื่นๆ อีกมากมาย
รวมเนื้อหาทั้งหมดแล้ว คอร์สนี้ยาวประมาณ 5 ชั่วโมงด้วยกัน อย่างไรก็ดีก่อนที่จะเรียนคุณควรจะมีความรู้ SQL และ Docker มาก่อน และควรจะ install Docker มาให้พร้อมด้วยครับ
ในส่วนของการบรรยาย เสียงและสำเนียงของครูผู้สอนชัดเจนครับ ผมตรวจสอบแล้วพบว่าไม่มีปัญหาแต่อย่างใด
คอร์สนี้ได้คะแนนไป 4.6/5.0 จากนักเรียนประมาณ 750 คน
4. Apache Airflow: The Hands-On Guide
ถ้าใครชอบเรียนคอร์สที่มีเนื้อหาละเอียดๆ คอร์สนี้คือตัวเลือกอันดับหนึ่งที่คุณจะเลือกเรียนครับ เพราะคอร์สนี้จะสอน Apache Airflow ให้คุณอย่างละเอียดมากที่สุดเท่าที่คุณจะหาได้ในโลกออนไลน์เลยก็ว่าได้
ตัวคอร์สสอนโดย Marc Lamberti วิศวกร Big Data จากฝรั่งเศสที่มีความเชี่ยวชาญในการใช้งาน Apache Airflow อย่างมากเลยครับ
การสอนจะเป็นภาคทฤษฎีผสมผสานไปกับภาคปฏิบัติที่คุณจะได้ลองใช้งาน Apache Airflow ผ่านการทำแบบฝึกหัด ควิซต่างๆ และโปรเจคมากมายครับ
สิ่งที่คุณจะได้เรียนมีดังต่อไปนี้
- พื้นฐานของ Apache Airflow
- สร้าง Data Pipeline สำหรับตลาดแลกเปลี่ยนเงินตราต่างประเทศ หรือ Forex) ทั้งนี้คอนเซปต์ที่เกี่ยวข้องจะถูกอธิบายไปพร้อมๆ กับการทำโปรเจคครับ
- พัฒนา DAGs ของคุณ เช่นการจัดการ DAG Folder, Timezone, การ test DAG ของคุณ ฯลฯ
- Distributing Apache Airflow (ใช้ PostgreSQL)
- เทคนิคระดับสูงของการใช้งาน Apache Airflow อย่างเช่นการทำ Branching, Templating Tasks, Share ข้อมูลกับ XCOMs ฯลฯ
- Deploy Airflow ลงบน AWS
- การ Monitoring ใน Apache Airflow
- จัดการในส่วนของ Security
- และอื่นๆ อีกมากมาย
รวมเนื้อหาในคอร์สนี้จะอยู่ที่ 13 ชั่วโมง ซึ่งถือว่าสมบูรณ์มากเลยทีเดียว สำหรับเรื่องการบรรยาย ผมสามารถเข้าใจครูผู้สอนได้โดยที่ไม่ต้องพยายามครับ แม้ว่าสำเนียงของเขาจะไม่ได้เป๊ะ 100% เหมือนกับเจ้าของภาษาก็ตาม
ในการเรียนคอร์สนี้ คุณจะต้องมีความรู้ Docker เช่นเดียวกับคอร์สที่ 3 ครับ
คอร์สนี้ได้คะแนนรีวิวไป 4.6/5.0 จากนักเรียนกว่า 5,300 คนครับ
