#attention
Follow to get notified about new posts with this tag$ 0.542
10
Seit vier Tagen, habe ich Aufmerksamkeitsmechanismen fuer Spachmodelle im Kopf. Genau meine XAC-Attention... Aber ich trau mich net Arbeiten...
Statt dessen, rast mein Kopf, die Gedanken, net zu wissen, in welches Loch man kommt und das sein "Leben" nennen darf. Auch denke ich viel ueber die grossen uebergeordneten Zusammenhaenge nach,
Cross Attention + Ring Attention und Flash Attention... Ja genau, ersteres mit einem En- und Decoder. Also schon bisle was. Aber das ist Geilo Zeugs! Ich sage es euch!
Mit der Cross Attention, kann man dann zum Beispiel bessere Analysen machen lassen, weil ich dann die Token mit en und decodierungsmechanismen ausarbeiten kann an deren Gewichte fuereinander. Das macht
Da sind von Llama.cpp und XAIGPUARC fertig geschriebene Kernel auf meinen Rechnern... die ich mir mit dem Arsch nicht anschaue...
Nichtmal zum Lernen... Ich lerne nur von einem, des kann man sich denken, wer das ist als Person auf der Welt. Der, und sonst garnix und bei dem, geht ich auch nur so Vorbeischauen, gugg auf seinen Zettel,
SYCL KI Flash Attention Gebastel. Man muss bedenken das ich damit am wenigsten Zeit verbracht habe bisher! Aber es mausert sich so langsam heran.
Die Flash Attention habe ich ja auch nur nebenbei das bauen angefangen, da wusste ich noch nichtmal, das ich XAIGPUARC von Llama.cpp wegforken will, und auch nicht, das ich da inzwischen komplett drauf
ggml_sycl_flash_attention.cpp Miniversion XMX ARC Intel iGPU + dGPU Rechen KI Kernel F16 GGUF/GGML Modells useable with dual GPU Mode and more
Meine Arbeiten an der neuen Flash Attention Version jetzt nur noch 460 Zeilen klein gehen gut vorran. Ich habe viele grobe Fehler ausgebessert und die Sache sieht so langsam irgendwie... Rund aus. :-)
How My Investment in CAKE toke is Doing - Recent News Around PancakeSwap: Pre-Access Portal Goes Live - Lets Explore...
Hey All, Recently I invested in #CAKE token and I did blog about it and here is the post - Change In PLAN - Invested in CAKE token - Invested $470+ At the Moment - Lets Explore... I decided to diversify
