#sycl
Follow to get notified about new posts with this tag
Ich habe jetzt einen Ordner in meinem System gefunden, der heißt XAC einfach nur so, als haette ich das Bewusst gemacht.
Das habe ich aber wenn, schon wieder vergessen. Man muss wissen, ich weis nicht wie man einen Ordner anlegt so einfach so, und so im System, ich muesste ihn jeztt erst wieder suchen aber irgendwo mit cmake
SYCL KI Flash Attention Gebastel. Man muss bedenken das ich damit am wenigsten Zeit verbracht habe bisher! Aber es mausert sich so langsam heran.
Die Flash Attention habe ich ja auch nur nebenbei das bauen angefangen, da wusste ich noch nichtmal, das ich XAIGPUARC von Llama.cpp wegforken will, und auch nicht, das ich da inzwischen komplett drauf
ggml_sycl_flash_attention.cpp Miniversion XMX ARC Intel iGPU + dGPU Rechen KI Kernel F16 GGUF/GGML Modells useable with dual GPU Mode and more
Meine Arbeiten an der neuen Flash Attention Version jetzt nur noch 460 Zeilen klein gehen gut vorran. Ich habe viele grobe Fehler ausgebessert und die Sache sieht so langsam irgendwie... Rund aus. :-)
XAIGPUARC /// Linux Arch / DEUTSCH / F16-BF16 / XMX / MKL / GGUF-GGML / 3-7-12B / 256k CTX-PTX / 3XAI / ARC / 256g / INTEL / ICPX / SYCL ///CPP
XAIGPUARC /// Linux Arch / DEUTSCH / F16-BF16 / XMX / MKL / GGUF-GGML / 3-7-12B / 256k CTX-PTX / 3XAI / ARC / 256g / INTEL / ICPX / SYCL ///CPP Das wird es sein fuer den Anfang und nicht mehr. Die
XAIGPUARC /// Groeßeres Modell ersetzt MathTutor auf Laptop, statt 14,2 GiB nun 19 GiB Modell INTELLECT-1-Instruct-f16.gguf
XAIGPUARC ist in der jetztigen Form nur noch mir F16 Modellen nutzbar. Dafuer funktionieren jetzt auch groeßere Modelle als der Math Tutor, dessen Funktion auf dem Laptop ja auch Neu ist. Der Context wurde
Gestern habe ich durch Zufall doch noch eine SYCL KI gefunden. Alibaba Cloud wieder mal^^... Das laueft natuerlich auch auf Intel Gut mit 7 Token auf dem Laptop 45 Watt
Die KI ist Groß, ein Nachdenkfaehiges recht modernes LLM und heißt "Orchestrator-8B-f16_q8_0.gguf". Sie benoetigt eine B580 oder eine A730m als Minimum, weil ihre Speicheranforderungen leider
SYCL Dampfmaschine BlockWorkOrange maximale Kompatibilitaet und Hochleistung bei Dauerschwerlastszenarien. /// Mein Zeug, laeuft Ueberall.
Ich brauche niemanden Fragen, oder mich in ein huepsches Gefaengnis aus Kanten und Ecken beim Konstruieren stecken. Meine Programme sind immer so gebaut, das sie nicht die Schnellsten sind, sondern die