アメリカ語ではspeculative decodingというらしい。 LLMは次の単語を予測するモデルなので、次の単語を予測してそれを加えてさらに次の単語を予測してそれを加えt・・という風に生成する単語数分計算する必要があります。しかしLLMは単語一個一個ではなく ...

The package contains a mixture of classic decoding methods and modern machine learning methods. For regression, we currently include: Wiener Filter, Wiener Cascade, Kalman Filter, Naive Bayes, Support ...