#ggml
Follow to get notified about new posts with this tag
XAIGPUARC /// GGML wird rausgeschmissen. Ich schreibe das Ding selber fuer die Handvoll Modelle. Mehr Kontrolle, weniger Lizenzen und Ballast.
GGML als Drittanbietersoftware stoert mich schon die ganze Zeit beim Bauen und im Grund habe ich da einfach nur den klassischen Programmierweg mitgetragen, aber das ist nicht meiner. Ich schreibe das Zeug
ggml_sycl_flash_attention.cpp Miniversion XMX ARC Intel iGPU + dGPU Rechen KI Kernel F16 GGUF/GGML Modells useable with dual GPU Mode and more
Meine Arbeiten an der neuen Flash Attention Version jetzt nur noch 460 Zeilen klein gehen gut vorran. Ich habe viele grobe Fehler ausgebessert und die Sache sieht so langsam irgendwie... Rund aus. :-)
$ 0.083
23
XAIGPUARC /// Linux Arch / DEUTSCH / F16-BF16 / XMX / MKL / GGUF-GGML / 3-7-12B / 256k CTX-PTX / 3XAI / ARC / 256g / INTEL / ICPX / SYCL ///CPP
XAIGPUARC /// Linux Arch / DEUTSCH / F16-BF16 / XMX / MKL / GGUF-GGML / 3-7-12B / 256k CTX-PTX / 3XAI / ARC / 256g / INTEL / ICPX / SYCL ///CPP Das wird es sein fuer den Anfang und nicht mehr. Die