PPO vs. SAC: Wann welcher Algorithmus?

Beide Algorithmen sind State-of-the-Art – aber sie lösen unterschiedliche Probleme optimal. Dieser Abschluss-Artikel vergleicht PPO und SAC entlang aller relevanten Achsen (On-/Off-Policy, Sample-Effizienz, Stabilität, Aktionsraum, Parallelisierbarkeit), liefert einen Entscheidungs-Mermaid, ordnet typische Anwendungsfelder (Robotik, Trading, RLHF, Spiele) zu und schlägt die Brücke zur self-learning-agents-Serie.

1. Die zentrale Frage: Welches Problem löst du?

Eine Methode für alle Nägel ist im RL noch seltener als anderswo. Die Wahl zwischen PPO und SAC ist nicht „besser oder schlechter", sondern eine Antwort auf zwei Fragen:

1. Wie teuer ist eine Umweltinteraktion? (Welt-Sekunden vs. CPU-Sekunden)
2. Wie sieht dein Aktionsraum aus? (Diskret vs. kontinuierlich vs. hochdimensional)

"Sample efficiency is a property of the environment, not of the algorithm. The right algorithm is the one whose data appetite matches your environment's data supply." – sinngemäß nach Levine, CS285 Lectures.

2. Direkter Vergleich: alle Achsen

3. Der Entscheidungspfad

In Worten:

1. Diskrete Aktionen (z. B. Atari, Strategiespiel-Züge) → PPO ist der Standardgriff.
2. Kontinuierliche Aktionen + teure Welt (echte Robotik, Wet-Lab) → SAC, klar.
3. Kontinuierliche Aktionen + billige, parallelisierbare Sim (MuJoCo, Unity ML-Agents) → PPO gewinnt durch Wall-Clock-Zeit, da hunderte Envs parallel sammeln.
4. Multi-modale Lösung erwünscht (z. B. Trading mit zwei legitimen Strategien) → SAC durch Maximum-Entropy.

4. Anwendungsfelder im Detail

Robotik & Sim-to-Real

SAC dominiert. Jede physische Interaktion kostet Sekunden bis Minuten und mechanische Belastung. Die Sample-Effizienz ist entscheidend.

Spiele & große Sim-Cluster

PPO dominiert. OpenAI Five (Dota 2), AlphaStar-Vorgänger und Unity-ML-Agents-Standardstacks sind alle PPO-basiert. Der Grund: tausende billige Envs parallel, gesammelt mit minimaler Synchronisation. PPOs $K$-Epochen-Update passt perfekt in einen synchronen Train-Step.

RLHF für LLMs

PPO ist heute Standard (InstructGPT-Linie, Llama-Chat, Claude-Familie). Die Aufgabe ist auf den ersten Blick ungewöhnlich – diskrete Tokens, sehr lange Trajektorien, dichtes Reward-Modell – aber PPOs Stabilität und einfache Skalierbarkeit haben sich durchgesetzt. Wichtige Anpassungen:

• Reference-KL-Penalty zusätzlich zum Clipping, um zu starkes Abdriften vom Pretrained-Modell zu verhindern.
• Reward-Modell statt direkter Welt-Belohnung.
• Token-Level Advantage mit GAE.

Off-policy Alternativen wie DPO (Direct Preference Optimization) und GRPO gewinnen seit 2024 Marktanteile – ein Trend, den auch self-learning-agents/02-rl-fuer-code-agenten verfolgt.

Trading & Finanz-Anwendungen

Heikles Pflaster. SAC ist theoretisch attraktiv (kontinuierliche Volumina, native Exploration), aber Exploration in einem Live-Markt ist real teuer. In der Praxis: SAC für Backtests und Simulationen, mit anschließendem konservativem Offline-RL-Verfahren für die Produktion.

5. Hybrid- und Off-Policy-Varianten

Die strikte Trennung „on vs. off" wird in der Forschung längst unterminiert:

• MPO (Maximum a Posteriori Policy Optimization) – DeepMind-Linie, kombiniert SAC-artige Stochastik mit PPO-artigem Trust-Region.
• DPO / IPO / KTO – Direkte Preference-Optimization für LLMs, umgeht den RL-Schritt komplett.
• GRPO (Group Relative Policy Optimization) – DeepSeek-Variante, on-policy aber ohne separaten Critic, durch Group-Baselines.
• AWR / CRR / IQL – Pures Offline-RL aus Logs, ohne Welt-Interaktion.

Der Trend: weniger separate Phasen, mehr Verschmelzung. PPO und SAC bleiben aber die Bausteine, die man verstehen muss, um die Hybride einzuordnen.

6. Brücke zur self-learning-agents-Serie

In self-learning-agents/02-rl-fuer-code-agenten sehen wir, wie RL-Konzepte in moderne Agent-Pipelines einfließen:

• Tests als Reward-Signal entspricht einem dichten, sparsamen Reward-MDP (Artikel 01).
• Memory & Replay für Code-Agenten ist konzeptionell SACs Replay-Buffer (Artikel 05).
• RLHF für Code-Generierung ist PPOs Anwendungsfeld (Artikel 04).
• Exploration durch stochastische Tool-Auswahl ist Maximum-Entropy in Aktion (Artikel 05).

Wer PPO und SAC verstanden hat, kann jede moderne Agent-Trainings-Pipeline (RLHF, Agent-Coder-RL, AutoRL) entlang dieser Achsen analysieren.

7. Abschluss-Quiz

8. Zusammenfassung der gesamten Serie

Damit ist der Werkzeugkasten beisammen: vom MDP-Vokabular über Policy-Gradients bis zu den zwei dominanten Deep-RL-Algorithmen der späten 2010er und 2020er Jahre.

9. Weiterführend

• Querverweis: self-learning-agents – RL als Baustein moderner Agent-Pipelines.
• Querverweis: categories/reinforcement-learning.
• Knowledgebase: masteringpytorch-secondedition.md – Kapitel zu Modern Deep RL.

Quellen

• Schulman, J. et al. (2017) – Proximal Policy Optimization Algorithms.
• Haarnoja, T. et al. (2018) – Soft Actor-Critic Algorithms and Applications.
• Ouyang, L. et al. (2022) – Training language models to follow instructions with human feedback (InstructGPT / PPO für RLHF).
• Rafailov, R. et al. (2023) – Direct Preference Optimization (DPO als PPO-Alternative für LLMs).
• DeepSeek-AI (2024) – DeepSeekMath (GRPO als critic-free PPO-Variante).