8 คอร์สสอน Reinforcement Learning ออนไลน์ที่คุณไม่ควรพลาด

Reinforcement Learning หรือ RL คือภาคส่วนหนึ่งของ Machine Learning ที่ศึกษาว่า software agents จะตัดสินใจอย่างไรเป็นลำดับขั้นตอน (sequence) ที่จะทำให้ผลตอบแทนโดยรวมออกมาดีที่สุด

โดย Reinforcement Learning เป็นหนึ่งใน paradigm หลักของ Machine Learning ควบคู่กับ Supervised และ Unsupervised Learning ครับ

การใช้งาน Reinforcement Learning นั้นมีแต่จะเพิ่มขึ้นในอนาคต โดยตัวอย่างที่ชัดเจนที่สุดก็คือ Autonomous Car หรือรถไร้คนขับที่ต้องพิจารณาปัจจัยต่างๆ เพื่อให้ผู้โดยสารปลอดภัย และได้รับความสะดวกสบายไปด้วยนั่นเอง

ดังนั้นถ้าคุณสนใจสาขาวิชา Machine Learning อยู่แล้ว การศึกษา Reinforcement Learning แบบเจาะลึกจึงเป็นทางเลือกที่น่าสนใจ เราไปดูกันเลยดีกว่าครับ คอร์สสอน Reinforcement Learning ทางออนไลน์ที่น่าเรียนจะมีคอร์สไหนบ้าง

ข้อควรทราบ:

• ราคาและเงื่อนไขของคอร์สอาจจะเปลี่ยนแปลงไปได้ โปรดตรวจสอบกับทางผู้ให้บริการอีกครั้งก่อนซื้อครับ
• Reinforcement Learning เป็นทักษะระดับสูง ดังนั้นในการเรียน คุณจะต้องมีพื้นฐานแคลคูลัส, ความน่าจะเป็น, Python ระดับหนึ่ง (อย่างน้อย NumPy และ Matplotlib ควรจะใช้เป็น) รวมไปถึงพื้นฐาน Machine Learning ทั่วไปอย่างเช่น ANNs (Artificial Neural Network) และ CNNs (Convoluted Neural Network) ครับ

แนะนำแพลตฟอร์ม

คอร์สสอน Reinforcement Learning ที่ผมจะแนะนำส่วนใหญ่จะอยู่ใน Udemy, Coursera และ Edureka ใครที่ยังไม่รู้จักสามารถไปอ่านรายละเอียดต่อได้ที่แพลตฟอร์มเรียนออนไลน์น่าใช้ครับ

สำหรับแพลตฟอร์มอื่นๆ อย่างเช่น Udacity นั้นผมได้ลงรายละเอียดไว้ในด้านล่างแล้วครับ

Udacity

Udacity เป็นแพลตฟอร์มเรียนออนไลน์สาย Tech ที่มีความคล้ายคลึงกับ Bootcamp นั่นคือคุณจะได้รับการช่วยเหลืออย่างสมบูรณ์จากทีมงานและผู้เชี่ยวชาญ ทำให้คุณสามารถมั่นใจได้ว่าคุณจะได้รับความรู้และทักษะดีๆ ที่สามารถนำไปพัฒนาต่อได้จริงครับ

1. Become a Deep Reinforcement Learning Expert

คอร์สนี้คือคอร์สเรียนของ Udacity ที่จะผสมผสาน Deep Learning เข้ากับ Reinforcement Learning ดังนั้นสิ่งที่คุณจะเรียนคือทักษะระดับสูงที่เป็นที่ต้องการของตลาดอย่างมาก

อย่างไรก็ดีคอร์สนี้คุณจะต้องมีความรู้ครบถ้วนตั้งแต่ Python, ความน่าจะเป็น, Machine Learning และ Deep Learning ครับ

ภายในคอร์สแบ่งออกเป็น 4 พาร์ทดังต่อไปนี้

1. Foundations of Reinforcement Learning – พาร์ทแรกจะแนะนำให้คุณรู้จักกับ Reinforcement Learning และคอนเซปต์ต่างๆ ที่เกี่ยวข้อง
2. Value-based Methods – สำหรับพาร์ทที่สอง คุณจะได้ลองใช้ Deep Learning เข้ากับ Reinforcement Learning โดยคุณจะได้ลองพัฒนา neural networks ของคุณเองที่สามารถแยกวัตถุสีต่างๆ กันออกจากกันได้
3. Policy-based Methods – ถัดมาพาร์ทที่ 3 จะสอนความรู้ระดับสูงขึ้น โดยจะเน้นไปที่ Algorithms และ Policy-Gradient Methods หลังจากนั้นคุณจะได้ออกแบบ Algorithm ของคุณเองที่จะนำทางแขนหุ่นยนต์ไปยังจุดที่เหมาะสม
4. Multi-Agent Reinforcement Learning – พาร์ทสุดท้ายนั้น คุณจะได้ประยุกต์ใช้ Reinforcement Learning เข้ากับการใช้งานที่มี agent หลายตัว ซึ่งจะมีประโยชน์อย่างยิ่งต่อการพัฒนารถไร้คนขับ (Autonomous Car) ต่อไป

ในทุกพาร์ทจะมีแบบฝึกหัดและ Project ที่คุณจะได้ลองทำจำนวนมาก และพัฒนาทักษะที่คุณสามารถนำไปต่อยอดได้จริง ไม่เพียงเท่านั้นคุณยังสามารถนำผลงานเหล่านี้ไปใส่ใน Github Portfolio ได้อีกด้วย

แต่สิ่งที่ยอดเยี่ยมที่สุดคือการช่วยเหลือทั้ง 3 ด้านของ Udacity นั่นคือ

• Mentor Support – การช่วยเหลือแบบทั่วไป คุณสามารถถามคำถาม Mentor ได้ตลอดเวลา ไม่ว่าคุณจะติดขัดตรงไหนหรือว่าไม่เข้าใจส่วนไหนก็สามารถถามได้ทันที ซึ่งโดยเฉลี่ยแล้ว Mentor จะตอบกลับมาในเวลาไม่เกิน 1 ชั่วโมงครับ
• Project Reviews – คุณสามารถให้ผู้เชี่ยวชาญตรวจสอบและให้ feedback กับโปรเจคของคุณได้ไม่จำกัดครั้ง ซึ่งในแต่ละครั้งผู้เชี่ยวชาญก็จะให้คำแนะนำดีๆ กลับมาด้วย ซึ่งคุณสามารถนำไปพัฒนาโปรเจคของคุณให้ดียิ่งขึ้นต่อไป
• Career Services – การช่วยเหลือด้านการสมัครงาน กล่าวคือทางทีมงานจะตรวจสอบ Resume, Cover Letter, Github Portfolio และ LinkedIn Profile ของคุณ เพื่อให้พร้อมกับการสมัครงาน และเพิ่มโอกาสที่คุณจะได้เข้าสัมภาษณ์กับบริษัทชั้นนำครับ

เวลาเรียนที่ใช้จะอยู่ที่ 10-15 ชั่วโมงต่อสัปดาห์เป็นเวลา 4 เดือน ดังนั้นอาจจะกล่าวได้ว่าตัวคอร์สอัดแน่นไปด้วยเนื้อหาเลยทีเดียว ดังนั้นถ้าคุณสนใจจะทำงานในด้านนี้ ผมบอกได้เลยว่าคอร์สนี้เป็นตัวเลือกอันดับต้นๆ ครับ

ในส่วนของค่าเรียนจะอยู่ที่ $399 หรือประมาณ 11,970 บาทต่อเดือน แต่ถ้าเหมาซื้อ 4 เดือนในคราวเดียวจะจ่ายโดยเฉลี่ยแค่ $279 หรือ 8,370 บาทต่อเดือน ไม่เพียงเท่านั้น Udacity ยังมีลดราคาแรงๆ 50%-75% หรือว่าให้ Financial Support (มีค่าเท่ากับส่วนลด 75% ซึ่งจะได้หลังจากการลงทะเบียน) อยู่บ่อยๆ อีกด้วย

เพราะฉะนั้นคุณอาจจะได้คอร์สชั้นยอดไปในราคาแค่ $100 หรือ 3,000 บาทต่อเดือน แถมถ้าคุณเรียนเร็ว (สมมติว่าเรียน 30-40 ชั่วโมงต่อสัปดาห์) คุณจะจ่ายค่าเรียนแค่ 2 เดือน หรือว่า 6,000 บาทเท่านั้นเองครับ ซึ่งถือว่าถูกมากๆ เลยทีเดียว

Udemy

Udemy มีการลดราคาที่ลดบ่อยมากแทบทุกสัปดาห์ แถมยังลดแรงมากถึง 90% ทำให้คุณเข้าถึงคอร์สเรียนออนไลน์คุณภาพเยี่ยมในราคาไม่กี่ร้อยบาทเท่านั้นเอง

ถ้าสมมติว่าคุณเข้าไปในเว็บแล้ว ราคาคอร์สไม่ลดราคา ผมแนะนำให้นำคอร์สใส่ Wish List แล้วรอไปก่อน 2-5 วัน หรือว่าสมัครแจ้งเตือนกับ Victory Tale ไว้ก็ได้ครับ ผมจะได้ส่งแจ้งเตือนไปให้คุณทราบเมื่อมีโปรโมชั่น

2. Artificial Intelligence: Reinforcement Learning in Python

คอร์สสอน Reinforcement Learning ใน Python ที่จัดทำโดยทีมของ Lazy Programmer ทีมผู้สอนที่มีประสบการณ์สูงในฐานะ Machine Learning Engineer และนักพัฒนา AI ที่ใช้ Deep Learning ครับ

ตัวคอร์สนี้จะแนะนำให้คุณรู้จักกับ Reinforcement Learning ตั้งแต่เริ่มแรก ซึ่งจะครอบคลุมทั้งทฤษฎีและปฏิบัติโดยคุณจะได้เรียนเนื้อหาต่อไปนี้

• ทฤษฎีและปัญหาต่างๆ ที่เกี่ยวข้องกับ Reinforcement Learning อาทิเช่น Explore-Exploit Dilemma, Epsilon-Greedy Theory, Optimistic Initial Values Theory
• Markov Decision Processes (MDPs) อย่างเช่น Bellman Equation และ Optimal Value Function
• Dynamic Programming
• Monte Carlo และ Temporal Difference Learning อาทิเช่น Q-Learning
• Approximation Methods
• Project: การใช้ Q-Learning กับการเทรดหุ้น

ภายในคอร์สนี้ คุณจะได้เข้าใจ Reinforcement Learning เบื้องต้นอย่างละเอียด และได้ลองใช้อัลกอริทึมถึง 17 ตัวด้วยกันครับ โดยรวมแล้วถือว่าเป็นการเริ่มต้นที่ดีสำหรับการเรียนสาขาวิชานี้เลยทีเดียว ความยาวของเนื้อหาในคอร์สจะอยู่ที่ 12.5 ชั่วโมง แต่จะเหลือ 10 ชั่วโมง ถ้าคุณตัดส่วนของการทบทวน Python และ Machine Learning ออกไปครับ

คอร์สนี้ได้คะแนนรีวิวไป 4.5/5.0 จากผู้เรียนเกือบ 40,000 คนครับ

3. Advanced AI: Deep Reinforcement Learning in Python

คอร์สนี้เป็นคอร์สของ Lazy Programmer เช่นเดิม แต่จะสอนเนื้อหา Reinforcement Learning ในระดับที่สูงยิ่งขึ้น นั่นคือการใช้ Reinforcement Learning ประสานกับ Deep Learning (Neural Networks ครับ)

ดังนั้นก่อนที่จะเรียนคุณควรจะมีความรู้เรื่อง Monte Carlo, MDPs หรือ Dynamic Programming มาก่อน หรือพูดง่ายๆ คือเรียนคอร์สแรกมาก่อน แต่สิ่งที่คุณจะต้องมีความรู้พื้นฐานมาด้วยก็คือ Tensorflow ครับ

เนื้อหาหลักของคอร์สนี้จะเป็นการใช้งาน OpenAI Gym และ environment ที่เกี่ยวข้อง โดยคุณจะได้เรียนสิ่งต่อไปนี้

• ทบทวนพื้นฐานของ Reinforcement Learning
• Reinforcement Learning กับ RBF Neural Networks และการใช้งาน OpenAI Gym (แพลตฟอร์มของ OpenAI)
• TD Lambda Algorithm และ Policy Gradients
• Deep Q-Learning ใน Theano และ Tensorflow
• Deep Learning Agents อย่าง A3C
• และอื่นๆ อีกมากมาย

หลังจากที่คุณเรียนจบคอร์สนี้ คุณจะสามารถใช้งาน Reinforcement Learning Algorithms ระดับสูงในการจัดการปัญหาได้ครบทุกรูปแบบ ซึ่งจะพัฒนาทักษะของคุณในฐานะนักพัฒนา AI อย่างก้าวกระโดดเลยทีเดียวครับ

ส่วนที่ผมมองว่าน่าสนใจที่สุดก็คือ ในคอร์สนี้คุณจะได้เข้าใจถึงผลกระทบที่ “ไม่ตั้งใจ” หรือว่า “คาดเดาไม่ได้” อย่างละเอียดของการใช้งาน AI และได้ทราบว่ามันเกิดขึ้นจากอะไรครับ

เนื้อหาคอร์สนี้จะอยู่ที่ 10.5 ชั่วโมง แต่จะเหลือประมาณ 8 ชั่วโมงถ้าตัดการทบทวน Tensorflow และ Python ออกไปครับ ส่วนคะแนนรีวิวได้ไปสูงถึง 4.6/5.0 จากนักเรียนกว่า 32,000 คน

4. Cutting-Edge AI: Deep Reinforcement Learning in Python

คอร์สนี้เป็นคอร์สของ Lazy Programmer เช่นเดิม และเป็นคอร์สที่ 3 ในซีรีส์ ตัวคอร์สจะเจาะลึกในส่วนของ A2C Algorithm และ DDPG (Deep Deterministic Policy Gradient) ซึ่งล้วนแต่เป็นเนื้อหาระดับสูงทั้งสิ้น ถ้าคุณอยากจะเรียนคอร์สนี้ คุณควรจะเรียนสองคอร์สด้านบนมาก่อนครับ

สิ่งที่คอร์สนี้จะสอนคุณได้แก่

• Reviews – ทบทวนพื้นฐานความรู้ของ Deep Reinforcement Learning
• Advantage Actor-Critic (A2C Theory)
• Deep Deterministic Policy Gradient (DDPG)
• Evolution Strategies สำหรับ Supervised Learning, การ optimize function ฯลฯ
• และอื่นๆ อีกมากมาย

จุดเด่นของคอร์สนี้อยู่ที่ Evolution Strategies ที่เป็นเนื้อหาใหม่ที่มีการพัฒนาในสาขา Reinforcement Learning ไม่นานนัก และคุณจะได้ลองสัมผัสและใช้งาน environments ต่างๆ ที่จะช่วยพัฒนาทักษะของคุณครับ

เนื้อหาของคอร์สนี้ไม่ยาวนัก นั่นคืออยู่ที่ประมาณ 8.5 ชั่วโมง ถ้าตัดการทบทวนออกก็จะเหลือเนื้อหาประมาณ 5 ชั่วโมงครับ แม้ว่าจะไม่ยาวมาก แต่เนื้อหาที่คุณจะได้เรียนนั้นยากที่จะหาเรียนได้จากที่อื่นครับ ส่วนคะแนนรีวิวได้ไป 4.6/5.0 จากนักเรียนทั้งหมดเกือบ 6,000 คน

5. Modern Reinforcement Learning: Actor-Critic Methods

คอร์สนี้เป็นคอร์สสอน Reinforcement Learning ของ Phil Tabor วิศวกร Machine Learning ที่มีความเชี่ยวชาญพิเศษในด้าน Deep Learning และ AI ตัวคอร์สจะนำเสนอเนื้อหาที่คล้ายกับคอร์สที่ 3 แต่จะต่างกันตรงที่จะใช้งาน PyTorch Framework เป็นเครื่องมือหลักใน OpenAI Gym ครับ

สิ่งที่คุณจะได้เรียนได้แก่

• พื้นฐานของ Reinforcement Learning อย่างเช่น Bellman Equation, MDPs, Monte Carlo Prediction และ Temporal Learning
• Policy Gradient Methods ใน PyTorch
• เจาะลึก DDPG ใน PyTorch
• เรียนรู้เกี่ยวกับ TD3 (Twin Delayed Deep Deterministic Policy Gradients)
• Soft Actor Critic (SAC)
• และอื่นๆ อีกมากมาย

โดยรวมคอร์สนี้นำเสนอเนื้อหาที่หาเรียนยากมากๆ ดังนั้นถ้าคุณสนใจคุณไม่ควรพลาดเลยครับ แต่ก่อนที่จะเรียนคุณต้องมั่นใจว่าคุณมีพื้นฐานแคลคูลัสระดับมหาวิทยาลัย, ความรู้เกี่ยวกับ Reinforcement Learning เบี้องต้น เช่นเดียวกับ Deep Learning และ Python ครับ

ทั้งนี้ในคอร์สจะมีการทบทวนเนื้อหาให้เพียงเล็กน้อยเท่านั้น แล้วจะขึ้นเนื้อหาใหม่เลยครับ

รวมแล้วเนื้อหาแบบวีดิโอของคอร์สนี้มีความยาวทั้งหมด 8 ชั่วโมง คะแนนรีวิวได้ไป 4.4/5.0 จากนักเรียนกว่า 430 คน

6. Reinforcement Learning: AI Flight with Unity ML-Agents

คอร์สนี้เป็นคอร์สสอน Reinforcement Learning ที่ต่างจากคอร์สอื่นโดยสิ้นเชิง เพราะคุณจะได้สร้างเกมโดยใช้ Reinforcement Learning Platform ของ Unity อย่างละเอียด ตัวคอร์สจัดทำโดย Adam Kelly ผู้เชี่ยวชาญด้าน 3D Simulations, VR, AR รวมไปถึง Deep Learning ครับ

ตัวเขาเคยทำงานในบริษัทใหญ่ๆ อย่างเช่น Microsoft และ GM มานานถึง 1 ทศวรรษด้วยกันในฐานะวิศวกรซอฟต์แวร์ครับ

ในการเรียนคุณจะต้องมีพื้นฐานของ Unity และ C# มาก่อน และถ้าเคยเรียนการใช้งาน Blender มาบ้างก็จะช่วยให้คุณเรียนคอร์สนี้ได้ง่ายขึ้นครับ

สำหรับเนื้อหาของคอร์ส คุณจะได้ลองสร้างเกมแข่งขับเครื่องบินที่มี AI ที่มีระดับความสามารถที่ต่างกันเป็นคู่แข่งให้กับผู้เล่น ซึ่งคุณจะได้ลองใช้ neural network และ reinforcement learning ในการสร้าง AI ดังกล่าวขึ้นมาครับ โดยเกมนี้จะสามารถเล่นได้จริงและนำไปพัฒนาต่อได้อย่างสมบูรณ์เลยครับ

คอร์สมีความยาวทั้งหมด 14 ชั่วโมงด้วยกัน และได้คะแนนรีวิวสูงมากถึง 4.9/5.0 (สูงมากที่สุดคอร์สหนึ่งที่ผมเคยเห็นใน Udemy) จากนักเรียนกว่า 700 คนครับ

Coursera

7. Reinforcement Learning Specialization

หลักสูตรสอน Reinforcement Learning ที่จัดทำโดยการร่วมมือกันของ University of Alberta และ Alberta Machine Intelligence Institute คุณจะได้เรียนรู้ทฤษฎีและการสร้าง Reinforcement Learning System ตั้งแต่ระดับพื้นฐานไปจนถึงระดับสูง เช่นเดียวกับ RL Algorithms ต่างๆ อย่างละเอียดครับ

แต่ละคอร์สย่อยในหลักสูตรนี้ประกอบด้วย

1. Fundamentals of Reinforcement Learning – คอร์สนี้จะสอนพื้นฐานของ Reinforcement Learning ตั้งแต่ระดับ learning agents ไปจนถึง MDPs รวมไปถึง Functions ที่เกี่ยวข้องต่างๆ และ Dynamic Programming ครับ
2. Sample-based Learning Methods – ในคอร์สนี้คุณจะได้เจาะลึกในส่วนของ learning methods ต่างๆ ไม่ว่าจะเป็น Monte Carlo Methods, Q-Learning รวมไปถึง Dynamic Programming และความสัมพันธ์ระหว่างกันครับ
3. Prediction and Control with Function Approximation – เจาะลึกในส่วนของ Function Approximation ที่จะประสานในส่วนของ generalization และ discrimination ให้ได้ผลลัพธ์ที่ดีที่สุด นอกจากนี้คุณจะได้เรียนรู้เกี่ยวกับ policy gradient methods อีกด้วย
4. Capstone – นำความรู้จากคอร์สทั้ง 3 มาสร้าง Reinforcement Learning System เพื่อแก้ไขปัญหาที่อ้างอิงมาจากตัวอย่างในชีวิตจริง คอร์สนี้จะเป็นคอร์สการทำ project แบบบูรณาการที่จะช่วยพัฒนาทักษะและทบทวนความรู้ในสิ่งที่คุณได้เรียนไปครับ

สำหรับค่าเรียนหลักสูตรนี้จะอยู่ที่ $79 หรือประมาณ 2,370 บาทต่อเดือน โดยทางมหาวิทยาลัยแจ้งว่าคุณจะใช้เวลา 5 เดือนในการเรียนให้จบ ถ้าคุณใช้เวลาเรียน 5 ชั่วโมงต่อสัปดาห์ครับ

อย่างไรก็ดีเนื่องจากหลักสูตรนี้ถือว่าราคาสูง และใช้เวลาเรียนนานพอสมควร ผมแนะนำว่าอีกทางเลือกที่น่าสนใจคือการสมัคร Coursera Plus ครับ เพราะถูกและคุ้มค่ากว่าอย่างมาก

Edureka

8. Reinforcement Learning

คอร์สสอน Reinforcement Learning หนึ่งเดียวของ Edureka โดยตัวคอร์สมีความยาวกว่า 15 ชั่วโมงครับ การสอนจะเป็นแบบสอนสดทั้งหมด โดยคุณจะได้เรียนสิ่งต่อไปนี้

• Introduction to Reinforcement Learning – อธิบายพื้นฐานของ Reinforcement Learning และแนะนำให้คุณรู้จักกับ OpenAI Gym
• Bandit Algorithms and Markov Decision Processes
• Dynamic Programming & Temporal Difference Methods
• Deep Q Learning – เจาะลึกในส่วนของ Policy Gradients โดยใช้ Tensorflow และ Q Learning

สำหรับคอร์สนี้นั้นจะเป็นคอร์สเบื้องต้นเช่นเดียวกับคอร์สแรก แต่คุณต้องเคยเรียน Python, Machine Learning, PyTorch/Tensorflow, Deep Learning และความน่าจะเป็นมาก่อนครับ

อย่างไรก็ดีผู้เรียนบางคนมีปัญหากับสำเนียงของครูผู้สอนของ Edureka ผมแนะนำให้คุณทดลองเรียนก่อนจะดีกว่า (ตามลิงค์ด้านล่าง) ถ้าคุณไม่มีปัญหาถึงจะพิจารณาสมัครเรียนครับ

ในส่วนของเรื่องราคาจะอยู่ที่ $299 หรือประมาณ 9,970 บาทครับ อย่างไรก็ดี Edureka มีลดราคาอยู่บ่อยๆ ผมแนะนำให้สมัครแจ้งเตือนไว้กับ Victory Tale เช่นเดิมครับ ผมจะได้แจ้งให้ทราบเวลามีลดราคา

ถ้าคุณสมัครคอร์สของ Edureka ไปแล้วเกิดไม่พอใจ คุณสามารถขอเงินคืนได้ภายในเวลา 3 วันเท่านั้นครับ เพราะฉะนั้นถ้าสมัครแล้วไม่ชอบ ควรรีบขอเงินคืนทันทีครับ