Mit der Cross Attention, kann man dann zum Beispiel bessere Analysen machen lassen, weil ich dann die Token mit en und decodierungsmechanismen ausarbeiten kann an deren Gewichte fuereinander. Das macht

Nichtmal zum Lernen... Ich lerne nur von einem, des kann man sich denken, wer das ist als Person auf der Welt. Der, und sonst garnix und bei dem, geht ich auch nur so Vorbeischauen, gugg auf seinen Zettel,

Die Flash Attention habe ich ja auch nur nebenbei das bauen angefangen, da wusste ich noch nichtmal, das ich XAIGPUARC von Llama.cpp wegforken will, und auch nicht, das ich da inzwischen komplett drauf