Idea: “draft-and-verify” using smaller models to generate a head tokens.
A few techniques such as ngrams, EAGLE are supported in vLLM
- ↑↓ pour naviguer
- ↵ pour ouvrir
- ⟶ pour sélectionner
- ⌘ ⌥ ↵ pour ouvrir dans un panneau
- esc pour rejeter
⌘ '
raccourcis clavier
Speculative decoding
a method to speed up LLM decoding.