Inference Time ist die Zeit, die ein KI-Modell benötigt, um auf eine Eingabe eine Antwort zu generieren.
Kritisch bei Echtzeitanwendungen (z. B. Chatbots, Bilderkennung)
glossar inference zeit