Was rechnet, wenn wir lokal messen?

02 / 09Hardware

Unter dem Gehäuse

Von oben nach unten: das Aluminiumgehäuse, die Kühlung mit Lüfter und Kühlkörper, das Logic Board, darunter Innenrahmen, Netzteil und Bodenabdeckung. Die Zeichnung ist schematisch: Die Reihenfolge der Teile folgt Apples Reparaturunterlagen, Formen und Maße sind vereinfacht.

03 / 09Hardware

Apple M4 Max

Der Chip auf dem Logic Board. Er vereint CPU, GPU und Neural Engine in einem Baustein. Hier rechnet ein lokal ausgeführtes Modell.

04 / 09Hardware

Unified Memory

64 GB

Der Arbeitsspeicher ist kein Steckmodul. Er sitzt mit dem Prozessor in einem Baustein, und CPU und GPU greifen auf denselben Speicher zu. Davon hängt ab, wie große Modelle lokal laufen: Die Gewichte müssen hineinpassen.

05 / 09Hardware

Lokaler Speicher

1 TB SSD

Auf dem SSD-Modul liegen die Modellgewichte, Zwischenspeicher und die Dateien, die ein Lauf erzeugt. Anders als der Arbeitsspeicher ist es ein Bauteil, das am Logic Board steckt.

06 / 09Software

macOS und Metal

macOS 27

Ab hier gibt es nichts mehr zum Anfassen: Die oberen Ebenen sind Software und deshalb als Glas gezeichnet. macOS verwaltet das Gerät. Metal ist die Schnittstelle, über die Programme auf der GPU rechnen.

07 / 09Software

Lokale Inferenz

Eine Laufzeit lädt die Gewichte in den Speicher und lässt das Modell rechnen, zum Beispiel MLX, llama.cpp oder Ollama. Sie stehen nebeneinander, nicht übereinander: Ein Lauf nutzt eine davon und nennt sie.

08 / 09Software

Prüfstand Runner

Das Programm von agi.jetzt, das einen Lauf durchführt: Aufgabe laden, Modell starten, Ergebnis festhalten, prüfen und aufschreiben, womit gemessen wurde.

09 / 09

Der ganze Messplatz

Hardware, darauf die Laufzeit, darauf der Runner: Aus diesen drei Schichten entsteht eine lokale Messung. Ein Ergebnis beschreibt deshalb immer das Modell in diesem Aufbau, nicht das Modell an sich.