Kennt jemand gutes Bildungsmaterial um mit einer Gruppe selbst ein kleines, sehr simples #LLM zu bauen? Ziel wäre, dir Basics etwas zu entzaubern. Zielgruppe in dem Fall Erwachsene, aber ohne irgendwelche Vorkenntnisse in dem Bereich. Vielleicht @fedilz_infos ?
@thomasrenkert weiß bestimmt etwas zu berichten, der arbeitet in der Lehrerbildung (richtig?) und hat den ParzivAI Assistenten entwickelt: https://agki-dh.github.io/pages/webinar/page-9.html / https://hse.hypotheses.org/6066.
An Raschkas Building LLMs from Scratch hab ich auch schon gedacht, das wurde ja schon erwähnt. Es gibt im Netz Code dazu (https://github.com/rasbt/LLMs-from-scratch) und ein paar Leute, die ihre Erfahrungen damit/darum herum posten, z.B. https://www.gilesthomas.com/llm-from-scratch . https://huggingface.co/blog/gszauer/minimal-llm und https://readmedium.com/how-to-build-an-llm-from-scratch-8c477768f1f9 sind auch gut. Alles Englisch halt.
Wenn es nicht so sehr ums selber bauen sondern auch um Erklärungen geht, sind glaube ich die Videos von Andrej Karpathy (z.B. https://youtu.be/7xTGNNLPyMI?si=-YlKsMGuBnW5GO44 oder https://youtu.be/zduSFxRajkE?si=M-cYkZVX6N8M-Oxy ) oder von Thomas Wolf (https://youtu.be/2-SPH9hIKT8?si=IV-hyIaYCYi-dQTZ) ganz gut. https://youtu.be/LPZh9BOjkQs?si=uxW_igUPN92C6wg2 auch.
Und ich finde ja so "Simulationen" auch sehr hilfreich: https://www.soekia.ch/gpt.html / https://bbycroft.net/llm / https://poloclub.github.io/transformer-explainer/
