Post
Du @pallenberg hast mal in einer alten Folge erzählt, dass Du im LAN einen (oder mehrere) Mac Minis bzw. bald was anderes (das sehr gut klang) verwendest, um lokal KIs zu hosten. Ich war gerade durch den Wald gelaufen und hatte das nur auf den Ohren.
Hast Du eine LLM Empfehlung für selbst hosten: Qwen3 sieht interessant aus, aber mit Llama3 hatte ich auch schon ganz gute Ergebnisse. Vielleicht sollte ich da mal die Vers. 4 anschauen?
@hundhamm es kommt immer drauf an was du machen willst und wieviel Unified Memory du hast.
Dann weisste auch was fuer Modelle du fahren kannst. Das kann von nem kleinen Mistral gehen, bis zu nem 70b Qwen oder Deepseek.
@pallenberg Habe gestern Le Chat (online von Mistral) mit Amtsdeutsch aus deutschen Formularen gequält. Weil die mich zuerst angegriffen haben!
Aber ich will meine Eingabe natürlich keiner remote KI anvertrauen. Und auch so wissen die Franzosen, dass ich mit dt. Beihilfe- und Gesundheitsformularen beschäftigen musste.
Verwenden will ich meine Radeon RX 9070 mit 16 GB unter Linux. Zum Zocken ist jedenfalls ok ;-)
Install bonfire.cafe
Get the full app experience
