Deep Dive · Compute Scaling
Die exponentielle Kurve
Compute-Skalierung
Eine Milliarde-fach in 14 Jahren
In 14 Jahren stieg der Trainings-Compute für Frontier-Modelle um knapp eine Milliarde-fach (108.7, Epoch AI).
| Jahr | Modell | Lab | FLOPs |
|---|---|---|---|
| 2012 | AlexNet | Toronto | 10^18.5 |
| 2015 | ResNet | Microsoft | 10^19.8 |
| 2018 | BERT-L | 10^21.3 | |
| 2019 | GPT-2 | OpenAI | 10^22 |
| 2020 | GPT-3 | OpenAI | 10^23.5 |
| 2022 | PaLM | 10^24.4 | |
| 2023 | GPT-4 | OpenAI | 10^25.3 |
| 2024 | DeepSeek V3 | DeepSeek | 10^24.6 |
| 2024 | Claude 3.5 | Anthropic | 10^25.7 |
| 2024 | Gemini 2 | 10^26.1 | |
| 2025 | GPT-5 | OpenAI | 10^25.8 |
| 2025 | Grok-3 | xAI | 10^26.5 |
| 2025 | Grok-4 | xAI | 10^26.7 |
| 2025 | Llama 4 | Meta | 10^26.8 |
| 2026 | Gemini 3.1 | 10^27.1 | |
| 2026 | Claude 4.6 | Anthropic | 10^27.2 |
Vergleichslinie im Original: Moore's Law (×2 / 2 Jahre)
- ×2 alle
- ~6 MonateVerdopplung Frontier-Compute
- 2012→2026
- ×10⁸·⁷~500 Millionen-fach
- Top-Cluster
- 200k+GPUs (xAI Colossus 2)
- Budget '26
- $500B+AI-Infrastruktur global
Datenquelle: Epoch AI Tracker (epoch.ai). FLOPs-Schätzungen basierend auf öffentlichen Papers und Reports.