7 คอร์สสอนเจาะลึก Reinforcement Learning ออนไลน์ที่คุณไม่ควรพลาด

Reinforcement Learning หรือ RL คือภาคส่วนหนึ่งของ Machine Learning ที่ศึกษาว่า software agents จะตัดสินใจอย่างไรเป็นลำดับขั้นตอน (sequence) ที่จะทำให้ผลตอบแทนโดยรวมออกมาดีที่สุด โดย Reinforcement Learning เป็นหนึ่งใน paradigm หลักของ Machine Learning ควบคู่กับ Supervised และ Unsupervised Learning ครับ

การใช้งาน Reinforcement Learning นั้นมีแต่จะเพิ่มขึ้นในอนาคต โดยตัวอย่างที่ชัดเจนที่สุดก็คือ Autonomous Car หรือรถไร้คนขับที่ต้องพิจารณาปัจจัยต่างๆ เพื่อให้ผู้โดยสารปลอดภัย และได้รับความสะดวกสบายไปด้วยนั่นเอง

ดังนั้นถ้าคุณสนใจสาขาวิชา Machine Learning อยู่แล้ว การศึกษา Reinforcement Learning แบบเจาะลึกจึงเป็นทางเลือกที่น่าสนใจ เราไปดูกันเลยดีกว่าครับ คอร์สสอน Reinforcement Learning ทางออนไลน์ที่น่าเรียนจะมีคอร์สไหนบ้าง

ข้อควรทราบ:

  • ราคาและเงื่อนไขของคอร์สอาจจะเปลี่ยนแปลงไปได้ โปรดตรวจสอบกับทางผู้ให้บริการอีกครั้งก่อนซื้อครับ
  • Reinforcement Learning เป็นทักษะระดับสูง ดังนั้นในการเรียน คุณจะต้องมีพื้นฐานแคลคูลัส, ความน่าจะเป็น, Python ระดับหนึ่ง (อย่างน้อย NumPy และ Matplotlib ควรจะใช้เป็น) รวมไปถึงพื้นฐาน Machine Learning ทั่วไปอย่างเช่น ANNs (Artificial Neural Network) และ CNNs (Convoluted Neural Network) ครับ

Udemy

คอร์สที่ 1-5 อยู่ในแพลตฟอร์มของ Udemy

เนื่องจาก Reinforcement Learning เป็นทักษะระดับสูงที่ยังมีผู้เชี่ยวชาญน้อย คอร์สที่สอนทักษะนี้จึงมีน้อยไปด้วย แต่นั่นไม่ใช่ปัญหาสำหรับ Udemy ที่มีคอร์สจำนวนมากถึง 130,000 คอร์สครับ

การเรียนกับ Udemy มีจุดเด่นอยู่ที่ความยืดหยุ่น เพราะคุณจะใช้ช่องทางไหนเรียนก็ได้ไม่ว่าจะเป็น PC, Smartphone, Tablet หรือแม้กระทั่ง Smart TV ตัวคอร์สเองก็เป็นแบบซื้อขาดที่ไม่มีจำกัดเวลาเรียน นอกจากนี้คุณจะได้เนื้อหาใหม่ฟรีโดยอัตโนมัติ ถ้าครูผู้สอนของคุณอัพเดตเนื้อหาในแพลตฟอร์มครับ

อย่างไรก็ดีสิ่งที่ผมชอบที่สุดคือ การลดราคาที่ลดบ่อยมากแทบทุกสัปดาห์ แถมยังลดแรงมากถึง 90% ทำให้คุณเข้าถึงคอร์สเรียนออนไลน์คุณภาพเยี่ยมในราคาไม่กี่ร้อยบาทเท่านั้นเอง ถ้าสมมติว่าคุณเข้าไปในเว็บแล้ว ราคาคอร์สไม่ลดราคา ผมแนะนำให้นำคอร์สใส่ Wish List แล้วรอไปก่อน 2-5 วัน หรือว่าสมัครแจ้งเตือนกับ Victory Tale ไว้ก็ได้ครับ ผมจะได้ส่งแจ้งเตือนไปให้คุณทราบเมื่อมีโปรโมชั่น

1. Artificial Intelligence: Reinforcement Learning in Python

คอร์สสอน Reinforcement Learning ใน Python ที่จัดทำโดยทีมของ Lazy Programmer ทีมผู้สอนที่มีประสบการณ์สูงในฐานะ Machine Learning Engineer และนักพัฒนา AI ที่ใช้ Deep Learning ครับ

ในรูปคอร์สจะไม่ได้ลดราคา ผมแนะนำให้รอถึงช่วงที่มีลดราคาแล้วค่อยซื้อครับ

ตัวคอร์สนี้จะแนะนำให้คุณรู้จักกับ Reinforcement Learning ตั้งแต่เริ่มแรก ซึ่งจะครอบคลุมทั้งทฤษฎีและปฏิบัติโดยคุณจะได้เรียนเนื้อหาต่อไปนี้

  • ทฤษฎีและปัญหาต่างๆ ที่เกี่ยวข้องกับ Reinforcement Learning อาทิเช่น Explore-Exploit Dilemma, Epsilon-Greedy Theory, Optimistic Initial Values Theory
  • Markov Decision Processes (MDPs) อย่างเช่น Bellman Equation และ Optimal Value Function
  • Dynamic Programming
  • Monte Carlo และ Temporal Difference Learning อาทิเช่น Q-Learning
  • Approximation Methods
  • Project: การใช้ Q-Learning กับการเทรดหุ้น

ภายในคอร์สนี้ คุณจะได้เข้าใจ Reinforcement Learning เบื้องต้นอย่างละเอียด และได้ลองใช้อัลกอริทึมถึง 17 ตัวด้วยกันครับ โดยรวมแล้วถือว่าเป็นการเริ่มต้นที่ดีสำหรับการเรียนสาขาวิชานี้เลยทีเดียว ความยาวของเนื้อหาในคอร์สจะอยู่ที่ 12.5 ชั่วโมง แต่จะเหลือ 10 ชั่วโมง ถ้าคุณตัดส่วนของการทบทวน Python และ Machine Learning ออกไปครับ

คอร์สนี้ได้คะแนนรีวิวไป 4.5/5.0 จากผู้เรียนเกือบ 40,000 คนครับ

2. Advanced AI: Deep Reinforcement Learning in Python

คอร์สนี้เป็นคอร์สของ Lazy Programmer เช่นเดิม แต่จะสอนเนื้อหา Reinforcement Learning ในระดับที่สูงยิ่งขึ้น นั่นคือการใช้ Reinforcement Learning ประสานกับ Deep Learning (Neural Networks ครับ)

ดังนั้นก่อนที่จะเรียนคุณควรจะมีความรู้เรื่อง Monte Carlo, MDPs หรือ Dynamic Programming มาก่อน หรือพูดง่ายๆ คือเรียนคอร์สแรกมาก่อน แต่สิ่งที่คุณจะต้องมีความรู้พื้นฐานมาด้วยก็คือ Tensorflow ครับ

เนื้อหาหลักของคอร์สนี้จะเป็นการใช้งาน OpenAI Gym และ environment ที่เกี่ยวข้อง โดยคุณจะได้เรียนสิ่งต่อไปนี้

  • ทบทวนพื้นฐานของ Reinforcement Learning
  • Reinforcement Learning กับ RBF Neural Networks และการใช้งาน OpenAI Gym (แพลตฟอร์มของ OpenAI)
  • TD Lambda Algorithm และ Policy Gradients
  • Deep Q-Learning ใน Theano และ Tensorflow
  • Deep Learning Agents อย่าง A3C
  • และอื่นๆ อีกมากมาย

หลังจากที่คุณเรียนจบคอร์สนี้ คุณจะสามารถใช้งาน Reinforcement Learning Algorithms ระดับสูงในการจัดการปัญหาได้ครบทุกรูปแบบ ซึ่งจะพัฒนาทักษะของคุณในฐานะนักพัฒนา AI อย่างก้าวกระโดดเลยทีเดียวครับ

ส่วนที่ผมมองว่าน่าสนใจที่สุดก็คือ ในคอร์สนี้คุณจะได้เข้าใจถึงผลกระทบที่ “ไม่ตั้งใจ” หรือว่า “คาดเดาไม่ได้” อย่างละเอียดของการใช้งาน AI และได้ทราบว่ามันเกิดขึ้นจากอะไรครับ

เนื้อหาคอร์สนี้จะอยู่ที่ 10.5 ชั่วโมง แต่จะเหลือประมาณ 8 ชั่วโมงถ้าตัดการทบทวน Tensorflow และ Python ออกไปครับ ส่วนคะแนนรีวิวได้ไปสูงถึง 4.6/5.0 จากนักเรียนกว่า 32,000 คน

3. Cutting-Edge AI: Deep Reinforcement Learning in Python

คอร์สนี้เป็นคอร์สของ Lazy Programmer เช่นเดิม และเป็นคอร์สที่ 3 ในซีรีส์ ตัวคอร์สจะเจาะลึกในส่วนของ A2C Algorithm และ DDPG (Deep Deterministic Policy Gradient) ซึ่งล้วนแต่เป็นเนื้อหาระดับสูงทั้งสิ้น ถ้าคุณอยากจะเรียนคอร์สนี้ คุณควรจะเรียนสองคอร์สด้านบนมาก่อนครับ

สิ่งที่คอร์สนี้จะสอนคุณได้แก่

  • Reviews – ทบทวนพื้นฐานความรู้ของ Deep Reinforcement Learning
  • Advantage Actor-Critic (A2C Theory)
  • Deep Deterministic Policy Gradient (DDPG)
  • Evolution Strategies สำหรับ Supervised Learning, การ optimize function ฯลฯ
  • และอื่นๆ อีกมากมาย

จุดเด่นของคอร์สนี้อยู่ที่ Evolution Strategies ที่เป็นเนื้อหาใหม่ที่มีการพัฒนาในสาขา Reinforcement Learning ไม่นานนัก และคุณจะได้ลองสัมผัสและใช้งาน environments ต่างๆ ที่จะช่วยพัฒนาทักษะของคุณครับ

เนื้อหาของคอร์สนี้ไม่ยาวนัก นั่นคืออยู่ที่ประมาณ 8.5 ชั่วโมง ถ้าตัดการทบทวนออกก็จะเหลือเนื้อหาประมาณ 5 ชั่วโมงครับ แม้ว่าจะไม่ยาวมาก แต่เนื้อหาที่คุณจะได้เรียนนั้นยากที่จะหาเรียนได้จากที่อื่นครับ ส่วนคะแนนรีวิวได้ไป 4.6/5.0 จากนักเรียนทั้งหมดเกือบ 6,000 คน

4. Modern Reinforcement Learning: Actor-Critic Methods

คอร์สนี้เป็นคอร์สสอน Reinforcement Learning ของ Phil Tabor วิศวกร Machine Learning ที่มีความเชี่ยวชาญพิเศษในด้าน Deep Learning และ AI ตัวคอร์สจะนำเสนอเนื้อหาที่คล้ายกับคอร์สที่ 3 แต่จะต่างกันตรงที่จะใช้งาน PyTorch Framework เป็นเครื่องมือหลักใน OpenAI Gym ครับ

สิ่งที่คุณจะได้เรียนได้แก่

  • พื้นฐานของ Reinforcement Learning อย่างเช่น Bellman Equation, MDPs, Monte Carlo Prediction และ Temporal Learning
  • Policy Gradient Methods ใน PyTorch
  • เจาะลึก DDPG ใน PyTorch
  • เรียนรู้เกี่ยวกับ TD3 (Twin Delayed Deep Deterministic Policy Gradients)
  • Soft Actor Critic (SAC)
  • และอื่นๆ อีกมากมาย

โดยรวมคอร์สนี้นำเสนอเนื้อหาที่หาเรียนยากมากๆ ดังนั้นถ้าคุณสนใจคุณไม่ควรพลาดเลยครับ แต่ก่อนที่จะเรียนคุณต้องมั่นใจว่าคุณมีพื้นฐานแคลคูลัสระดับมหาวิทยาลัย ความรู้เกี่ยวกับ Reinforcement Learning เบี้องต้น เช่นเดียวกับ Deep Learning และ Python ครับ ในคอร์สจะมีการทบทวนเนื้อหาให้เพียงเล็กน้อยเท่านั้น แล้วจะขึ้นเนื้อหาใหม่เลยครับ

รวมแล้วเนื้อหาแบบวีดิโอของคอร์สนี้มีความยาวทั้งหมด 8 ชั่วโมง คะแนนรีวิวได้ไป 4.4/5.0 จากนักเรียนกว่า 430 คน

5. Reinforcement Learning: AI Flight with Unity ML-Agents

คอร์สนี้เป็นคอร์สสอน Reinforcement Learning ที่ต่างจากคอร์สอื่นโดยสิ้นเชิง เพราะคุณจะได้สร้างเกมโดยใช้ Reinforcement Learning Platform ของ Unity อย่างละเอียด ตัวคอร์สจัดทำโดย Adam Kelly ผู้เชี่ยวชาญด้าน 3D Simulations, VR, AR รวมไปถึง Deep Learning ครับ ตัวเขาเคยทำงานในบริษัทใหญ่ๆ อย่างเช่น Microsoft และ GM มานานถึง 1 ทศวรรษด้วยกันในฐานะวิศวกรซอฟต์แวร์ครับ

ในการเรียนคุณจะต้องมีพื้นฐานของ Unity และ C# มาก่อน และถ้าเคยเรียนการใช้งาน Blender มาบ้างก็จะช่วยให้คุณเรียนคอร์สนี้ได้ง่ายขึ้นครับ

สำหรับเนื้อหาของคอร์ส คุณจะได้ลองสร้างเกมแข่งขับเครื่องบินที่มี AI ที่มีระดับความสามารถที่ต่างกันเป็นคู่แข่งให้กับผู้เล่น ซึ่งคุณจะได้ลองใช้ neural network และ reinforcement learning ในการสร้าง AI ดังกล่าวขึ้นมาครับ โดยเกมนี้จะสามารถเล่นได้จริงและนำไปพัฒนาต่อได้อย่างสมบูรณ์เลยครับ

คอร์สมีความยาวทั้งหมด 14 ชั่วโมงด้วยกัน และได้คะแนนรีวิวสูงมากถึง 4.9/5.0 (สูงมากที่สุดคอร์สหนึ่งที่ผมเคยเห็นใน Udemy) จากนักเรียนกว่า 700 คนครับ

นอกเหนือจากคอร์ส 5 คอร์สนี้แล้ว Udemy ยังมีคอร์สอื่นๆ ให้เรียนด้วยเช่นกัน ถ้าสนใจลองหาได้ที่ Reinforcement Learning Courses ครับ

Coursera

คอร์สที่ 6 อยู่ในแพลตฟอร์มของ Coursera

Coursera เป็นแพลตฟอร์มที่รวบรวมคอร์สคุณภาพเยี่ยมของมหาวิทยาลัยชั้นนำเอาไว้มากมาย แต่ละคอร์สจะมีโครงสร้างของเนื้อหาและการประเมินผลอย่างดีเยี่ยม ไม่ต่างอะไรกับการไปเรียนที่มหาวิทยาลัยในต่างประเทศ นอกจากนี้ถ้าคุณเรียนจบ คุณจะได้ประกาศนียบัตรจากมหาวิทยาลัยอีกด้วยครับ

การเรียนกับ Coursera นั้นจะใช้ระบบหลักสูตรเป็นหลัก โดยภายในหลักสูตรจะมีคอร์สย่อยหลายคอร์ส ราคาค่าเรียนก็จะจ่ายเป็นหลักสูตร และคิดเป็นรายเดือน ดังนั้นคุณไม่ควรที่จะดองคอร์สไว้เหมือนกับ Udemy แต่ควรเรียนให้จบให้เร็วที่สุดครับ

6. Reinforcement Learning Specialization

หลักสูตรสอน Reinforcement Learning ที่จัดทำโดยการร่วมมือกันของ University of Alberta และ Alberta Machine Intelligence Institute คุณจะได้เรียนรู้ทฤษฎีและการสร้าง Reinforcement Learning System ตั้งแต่ระดับพื้นฐานไปจนถึงระดับสูง เช่นเดียวกับ RL Algorithms ต่างๆ อย่างละเอียดครับ

แต่ละคอร์สย่อยในหลักสูตรนี้ประกอบด้วย

  1. Fundamentals of Reinforcement Learning – คอร์สนี้จะสอนพื้นฐานของ Reinforcement Learning ตั้งแต่ระดับ learning agents ไปจนถึง MDPs รวมไปถึง Functions ที่เกี่ยวข้องต่างๆ และ Dynamic Programming ครับ
  2. Sample-based Learning Methods – ในคอร์สนี้คุณจะได้เจาะลึกในส่วนของ learning methods ต่างๆ ไม่ว่าจะเป็น Monte Carlo Methods, Q-Learning รวมไปถึง Dynamic Programming และความสัมพันธ์ระหว่างกันครับ
  3. Prediction and Control with Function Approximation – เจาะลึกในส่วนของ Function Approximation ที่จะประสานในส่วนของ generalization และ discrimination ให้ได้ผลลัพธ์ที่ดีที่สุด นอกจากนี้คุณจะได้เรียนรู้เกี่ยวกับ policy gradient methods อีกด้วย
  4. Capstone – นำความรู้จากคอร์สทั้ง 3 มาสร้าง Reinforcement Learning System เพื่อแก้ไขปัญหาที่อ้างอิงมาจากตัวอย่างในชีวิตจริง คอร์สนี้จะเป็นคอร์สการทำ project แบบบูรณาการที่จะช่วยพัฒนาทักษะและทบทวนความรู้ในสิ่งที่คุณได้เรียนไปครับ

สำหรับค่าเรียนหลักสูตรนี้จะอยู่ที่ $79 หรือประมาณ 2,370 บาทต่อเดือน โดยทางมหาวิทยาลัยแจ้งว่าคุณจะใช้เวลา 5 เดือนในการเรียนให้จบ ถ้าคุณใช้เวลาเรียน 5 ชั่วโมงต่อสัปดาห์ครับ

อย่างไรก็ดีเนื่องจากหลักสูตรนี้ถือว่าราคาสูง และใช้เวลาเรียนนานพอสมควร ผมแนะนำว่าอีกทางเลือกที่น่าสนใจคือการสมัคร Coursera Plus ครับ

เพราะในราคา $399 ต่อปี หรือประมาณ $33.25 หรือ 1,000 บาทต่อเดือน คุณจะเรียนได้คอร์สและหลักสูตรทั้งหมดกว่า 3,000 คอร์สใน Coursera ซึ่งจะรวมถึงหลักสูตรนี้ด้วย หลังจากสมัคร Coursera Plus แล้วคุณไม่จำเป็นต้องจ่ายรายเดือนอีกต่อไป

ถ้าเปรียบกับค่าใช้จ่ายรายเดือนของหลักสูตรนี้แล้ว รายเดือนของ Coursera Plus นั้นถูกกว่าและคุ้มกว่ามาก และมีความยืดหยุ่นในการเรียนมากกว่ามากมาย คุณเองก็ไม่ต้องรีบเร่งเรียนให้จบด้วย เพราะ Coursera Plus มีอายุถึง 1 ปีด้วยกันครับ

Edureka

คอร์สที่ 7 อยู่ในแพลตฟอร์มของ Edureka

Edureka เป็นอีกหนึ่งสถาบันออนไลน์ที่เปิดสอนโดยเน้นเทคโนโลยีเป็นหลัก จุดแข็งของ Edureka ก็คือตัวคอร์สจะเป็นแบบ Live Class หรือสอนสดทางออนไลน์ นั่นแปลว่าเนื้อหาที่คุณจะได้เรียนนั้นจะสดใหม่ นอกจากนี้คุณยังสามารถสอบถามข้อสงสัยกับผู้เชี่ยวชาญที่มาสอนได้แบบ real-time ครับ

การซื้อคอร์สของ Edureka นั้นจะเป็นแบบซื้อขาด นั่นแปลว่าคุณจะเรียนได้ไม่จำกัดในแพลตฟอร์มของคุณ สมมติว่าคุณไม่ว่างเรียนคอร์สสด คุณสามารถเรียนย้อนได้ในแพลตฟอร์มหรือว่าจะไปเข้าคอร์สสดของ Batch หน้าก็ได้ครับ

7. Reinforcement Learning

คอร์สสอน Reinforcement Learning หนึ่งเดียวของ Edureka โดยตัวคอร์สมีความยาวกว่า 15 ชั่วโมงครับ การสอนจะเป็นแบบสอนสดทั้งหมด โดยคุณจะได้เรียนสิ่งต่อไปนี้

  • Introduction to Reinforcement Learning – อธิบายพื้นฐานของ Reinforcement Learning และแนะนำให้คุณรู้จักกับ OpenAI Gym
  • Bandit Algorithms and Markov Decision Processes
  • Dynamic Programming & Temporal Difference Methods
  • Deep Q Learning – เจาะลึกในส่วนของ Policy Gradients โดยใช้ Tensorflow และ Q Learning

สำหรับคอร์สนี้นั้นจะเป็นคอร์สเบื้องต้นเช่นเดียวกับคอร์สแรก แต่คุณต้องเคยเรียน Python, Machine Learning, PyTorch/Tensorflow, Deep Learning และความน่าจะเป็นมาก่อนครับ

อย่างไรก็ดีผู้เรียนบางคนมีปัญหากับสำเนียงของครูผู้สอนของ Edureka ผมแนะนำให้คุณทดลองเรียนก่อนจะดีกว่า (ตามลิงค์ด้านล่าง) ถ้าคุณไม่มีปัญหาถึงจะพิจารณาสมัครเรียนครับ

ในส่วนของเรื่องราคาจะอยู่ที่ $299 หรือประมาณ 9,970 บาทครับ อย่างไรก็ดี Edureka มีลดราคาอยู่บ่อยๆ ผมแนะนำให้สมัครแจ้งเตือนไว้กับ Victory Tale เช่นเดิมครับ ผมจะได้แจ้งให้ทราบเวลามีลดราคา

ถ้าคุณสมัครไปแล้วเกิดไม่พอใจ คุณสามารถขอเงินคืนได้ภายในเวลา 3 วันครับ เพราะฉะนั้นถ้าสมัครแล้วไม่ชอบ ควรรีบขอเงินคืนทันทีครับ

error: Content is protected !!