Hat jemand Erfahrung mit externen Grafikkarten ( #eGPU per Thunterbolt angeschlossen) zur Beschleunigung der Inferenz von #KI Sprachmodellen 🤖💬 ( #LLM) in #Ollama unter #Linux?
Es fasziniert mich ja, was lokal alles möglich ist. Aber einen Mü flotter darf es gern sein…
Ich stelle mir das so vor: Ich möchte was lokal mit KI machen, also schalte ich kurz die eGPU ein, die an meiner Docking-Station hängt. Die KI rechnet und danach schalte ich sie wieder ab oder in den Energiesparmodus.
