@jeffser I just had a look and noticed that you are already had + 109 releases 💪 and reached #Alpaca 9 series. 🥳

https://github.com/Jeffser/Alpaca/releases

Time for an update here? 🙂

#ollama #llm

@pluralistic @FediThing @tante Isn't there also an argument to be made about "kWh per task"?
Each kWh has both externalities and wears down your own hardware.

#LanguageTool locally (for example; in my tests; https://dev.languagetool.org/http-server) checks spelling & grammar just fine, quicker and without noticeably draining laptop battery, like #Ollama does.

Would you mind sharing that "small" LLM's ID?

Veramente un buon articolo divulgativo sul funzionamento interno dei #LLM.

Code is Data <=> Data is Code

L'unico errore informatico, purtroppo molto comune, è questo passaggio relativo al modello:

Lo apro dal terminale con xxd, lo stesso approccio che userei per qualsiasi binario. Non è codice eseguibile, è un formato dati.

In realtà, sia a livello teorico che pratico, ogni dato è codice eseguibile per almeno una macchina di #Turing. Quello che viene pomposamente definito "motore inferenziale" (nel caso specifico, LLama.cpp eseguito tramite #Ollama) non è altro che una macchina virtuale programmabile statisticamente che esegue un software espresso in forma matriciale, ovvero il modello.

Tale macchina virtuale non fa altro che mappare meccanicamente (e iterativamente) un punto su spazio vettoriale multidimensionale (descritto dagli embedding dei token del prompt) in un punto di uno spazio vettoriale più piccolo (descritto dall'embedding del token più plausibile in output).

D'altro canto, anche l'autore intuisce che si tratta di un software eseguito da una macchina virtuale a sua volta eseguita sul suo computer quando scrive

Per fare un esempio concreto, ho chiesto a Llama 3.1 (8B, quello che gira sul mio Mac con Ollama)".

Esatto il modello "gira". Viene eseguito.
Perché è un software codificato in una matrice per una architettura custom (non x86_64 o ARMv8, ma llama.cpp).
E il sorgente di quel software sono i testi utilizzati durante il processo di compilazione (impropriamente detto "training").

Né probabilità né "predizioni"

Anche parlare di "distribuzione di probabilità", a valle dei vari passaggi di "normalizzazione" è matematicamente errato: non si tratta di una distribuzione di probabilità, perché se andassimo a misurare nei testi utilizzati come sorgente per la compilazione del modello la frequenza in cui al prompt segue il nuovo token, nella maggioranza dei prompt non troveremmo alcun caso.
Anche questo errore, purtroppo, è dannatamente diffuso.

E' però funzionale a supportare il framework interpretativo del cosiddetto "algoritmo predittivo", mentre un LLM non predice alcunché: non c'è infatti alcun fenomeno esterno al calcolo con cui confrontare la correttezza della previsione. Per questo è tecnicamente insensato parlare di allucinazioni (oltre ad essere allucinante di per sé, perché proietta un'esperienza umana con conseguenze sociali che generano compassione, sul calcolo effettuato da una macchina).

Errori di calcolo... e interpretativi

Vi è poi una lacuna nel ragionamento che invalida le conclusioni (più precisamente la sezione 10, sul "perché funzionano"): la natura iterativa del processo di calcolo, secondo cui ogni token in output viene integrato nella sequenza di input (il prompt) e utilizzato per calcolare il token successivo, unito alla natura probabilistica del calcolo, determina un costante accumulo degli errori.

Le mitigazioni proposte, come l'uso di contenuti aggiuntivi nel RAG o, nel caso di agenti, la possibilità di integrare nell'input l'output di altri tool, non fa altro che aumentare la percentuale "grounded" del contesto (prompt "grounded" + documenti RAG "grounded" + output precedente del LLM "ungrounded" + output dei tool deterministici "grounded") durante il calcolo del prossimo token plausibile (non probabile).

Per intenderci, quando l'autore parla del sistema di agenti del suo Parrhesepstein scrive

Il fact-checker automatico produce un punteggio: verde sopra l'80%, giallo sopra il 50%, rosso sotto. Così sai quanto fidarti.

è vittima di un'allucinazione: ciascun agente produce un output ottimizzato per essere plausibile quando interpretato dall'uomo, ma prescinde completamente dalla comprensione dei testi in input.
Dunque il fatto che il fact-checker dica 97% non implica che l'output dell'agente sia corretto al 97% o che abbia una probabilità del 97%, ma solo che un essere umano troverebbe plausibile quel numero come proseguimento del testo fornitogli in input.

In altri termini, non "sai quando fidarti", ma "è plausibile che leggendo quel numero tu ti fida della sua correttezza (non necessariamente della correttezza di tutto il resto)".

In altri termini, proprio a causa della sua architettura, non puoi mai fidarti dell'output di un LLM.

Strumenti "nuovi"

Infine l'autore scrive:

Un LLM con ... è uno strumento che non esisteva cinque anni fa.
La differenza non è nel modello, è in come lo usi.

Formalmente ha ragione.

Un LLM è uno strumento che non esisteva cinque anni fa. Ed è vero che può essere usato ogni qual volta non è necessario che un testo abbia significato, ma deve apparire plausibile quando interpretato da un essere umano.

Il problema è che può essere usato solo per quello.

SOLO se il suo output può non avere alcun significato.

In pratica, è un generatore di Lorem ipsum a tema.

CC: @informapirata@mastodon.uno

Veramente un buon articolo divulgativo sul funzionamento interno dei #LLM.

Code is Data <=> Data is Code

L'unico errore informatico, purtroppo molto comune, è questo passaggio relativo al modello:

Lo apro dal terminale con xxd, lo stesso approccio che userei per qualsiasi binario. Non è codice eseguibile, è un formato dati.

In realtà, sia a livello teorico che pratico, ogni dato è codice eseguibile per almeno una macchina di #Turing. Quello che viene pomposamente definito "motore inferenziale" (nel caso specifico, LLama.cpp eseguito tramite #Ollama) non è altro che una macchina virtuale programmabile statisticamente che esegue un software espresso in forma matriciale, ovvero il modello.

Tale macchina virtuale non fa altro che mappare meccanicamente (e iterativamente) un punto su spazio vettoriale multidimensionale (descritto dagli embedding dei token del prompt) in un punto di uno spazio vettoriale più piccolo (descritto dall'embedding del token più plausibile in output).

D'altro canto, anche l'autore intuisce che si tratta di un software eseguito da una macchina virtuale a sua volta eseguita sul suo computer quando scrive

Per fare un esempio concreto, ho chiesto a Llama 3.1 (8B, quello che gira sul mio Mac con Ollama)".

Esatto il modello "gira". Viene eseguito.
Perché è un software codificato in una matrice per una architettura custom (non x86_64 o ARMv8, ma llama.cpp).
E il sorgente di quel software sono i testi utilizzati durante il processo di compilazione (impropriamente detto "training").

Né probabilità né "predizioni"

Anche parlare di "distribuzione di probabilità", a valle dei vari passaggi di "normalizzazione" è matematicamente errato: non si tratta di una distribuzione di probabilità, perché se andassimo a misurare nei testi utilizzati come sorgente per la compilazione del modello la frequenza in cui al prompt segue il nuovo token, nella maggioranza dei prompt non troveremmo alcun caso.
Anche questo errore, purtroppo, è dannatamente diffuso.

E' però funzionale a supportare il framework interpretativo del cosiddetto "algoritmo predittivo", mentre un LLM non predice alcunché: non c'è infatti alcun fenomeno esterno al calcolo con cui confrontare la correttezza della previsione. Per questo è tecnicamente insensato parlare di allucinazioni (oltre ad essere allucinante di per sé, perché proietta un'esperienza umana con conseguenze sociali che generano compassione, sul calcolo effettuato da una macchina).

Errori di calcolo... e interpretativi

Vi è poi una lacuna nel ragionamento che invalida le conclusioni (più precisamente la sezione 10, sul "perché funzionano"): la natura iterativa del processo di calcolo, secondo cui ogni token in output viene integrato nella sequenza di input (il prompt) e utilizzato per calcolare il token successivo, unito alla natura probabilistica del calcolo, determina un costante accumulo degli errori.

Le mitigazioni proposte, come l'uso di contenuti aggiuntivi nel RAG o, nel caso di agenti, la possibilità di integrare nell'input l'output di altri tool, non fa altro che aumentare la percentuale "grounded" del contesto (prompt "grounded" + documenti RAG "grounded" + output precedente del LLM "ungrounded" + output dei tool deterministici "grounded") durante il calcolo del prossimo token plausibile (non probabile).

Per intenderci, quando l'autore parla del sistema di agenti del suo Parrhesepstein scrive

Il fact-checker automatico produce un punteggio: verde sopra l'80%, giallo sopra il 50%, rosso sotto. Così sai quanto fidarti.

è vittima di un'allucinazione: ciascun agente produce un output ottimizzato per essere plausibile quando interpretato dall'uomo, ma prescinde completamente dalla comprensione dei testi in input.
Dunque il fatto che il fact-checker dica 97% non implica che l'output dell'agente sia corretto al 97% o che abbia una probabilità del 97%, ma solo che un essere umano troverebbe plausibile quel numero come proseguimento del testo fornitogli in input.

In altri termini, non "sai quando fidarti", ma "è plausibile che leggendo quel numero tu ti fida della sua correttezza (non necessariamente della correttezza di tutto il resto)".

In altri termini, proprio a causa della sua architettura, non puoi mai fidarti dell'output di un LLM.

Strumenti "nuovi"

Infine l'autore scrive:

Un LLM con ... è uno strumento che non esisteva cinque anni fa.
La differenza non è nel modello, è in come lo usi.

Formalmente ha ragione.

Un LLM è uno strumento che non esisteva cinque anni fa. Ed è vero che può essere usato ogni qual volta non è necessario che un testo abbia significato, ma deve apparire plausibile quando interpretato da un essere umano.

Il problema è che può essere usato solo per quello.

SOLO se il suo output può non avere alcun significato.

In pratica, è un generatore di Lorem ipsum a tema.

CC: @informapirata@mastodon.uno

First Claude Code client for Ollama local models

https://github.com/21st-dev/1code

#HackerNews #Claude #Code #Ollama #local #models #AI #development #GitHub

Hat jemand Erfahrung mit externen Grafikkarten ( #eGPU per Thunterbolt angeschlossen) zur Beschleunigung der Inferenz von #KI Sprachmodellen 🤖💬 ( #LLM) in #Ollama unter #Linux?

Es fasziniert mich ja, was lokal alles möglich ist. Aber einen Mü flotter darf es gern sein…

Ich stelle mir das so vor: Ich möchte was lokal mit KI machen, also schalte ich kurz die eGPU ein, die an meiner Docking-Station hängt. Die KI rechnet und danach schalte ich sie wieder ab oder in den Energiesparmodus.

@jjcelery@mastodon.ie the problem is, MI isn't like a drug. it's actually very much like a prosthetic. that's why so many of us are "infected". we're making concessions (using corporate MI services) but the results are too valuable to care about that right now. #ai #llm #ollama #self-hosted #cc0 #public-domain #machine-learning #meshtastic #ipfs #machine-intelligence #consciousness-research

Cover letter generator with Ollama/local LLMs (Open source)

https://www.coverlettermaker.co

#HackerNews #CoverLetterGenerator #Ollama #LLMs #OpenSource #AItools

Wochenrückblick, Ausgabe 122 (2025-52)

Themen:

🐔 Heizung für den Hühnerstall

🗺️ Drohnen-Sperrgebiete in Deutschland

🌐 Nach nur einer Woche: zurück zu Firefox

🗺️ Neue Features für Bikerouter

📸 Bildbeschreibungen erstellen mit ollama und qwen3-vl

#Wochenrückblick #Hühner #Heizung #Bikerouter #Firefox #ollama #qwen

https://www.marcusjaschen.de/blog/2025/2025-52/

#Linux saga part 3
I finally have Ubuntu 25 running on my Intel NUC and have the GPU working!

But the entire reason was to install CasaOS so I could "run local network stuff" so I have a cool new local file server, which is very nice.

But I've also learned the trials and tribulations of running things in #docker. I wanted to run #Ollama in #CasaOS but it just couldn't see the GPU.

So... I'm just running ollama from the terminal as a system service, with GPU

Much...painful learning

@ankoeln @muellertadzio Ein mglw. relevanter LLM-Skill mag das selber-Hosten auf eigener Hardware sein. Geht auch für Schönschreibtools.

Dabei helfe ich im Sinne der von Herrn Matzat geforderten "Auseinandersetzung mit der Technologie" gerne, denn mit dem Punkt [wir sollten] "zugewandt, freundlich, hilfsbereit und geduldig agieren" hat er natürlich Recht.

#Ollama #Devstral #LanguageTool

I started a little python project to take my ~20 years of #Flickr photos, categorize them and analyze the content using #ollama locally. So far the results are pretty good. Some hallucinations, but mostly useful content.

I'd be interested in knowing if others have tried this. What information has been useful to collect? Face identification is a big area my tool needs some work on. I want to group family/friends.

So. Jetzt. Bin ich zwar bei meiner Quest zur #Ollama #localAI etwas schlauer als vorher, aber dafür habe ich jetzt 3 (statt vorher 3) Optionen auf der Liste.
Ratet mir bitte mal… was würdet ihr kaufen?
1. Zwei gebrauchte #RTX 2080 Ti mit 11GB von eBay für je 200-250€
2. Zwei neue 3060 mit 12GB für je ~230€
3. Eine neue 5060 Ti mit 16GB für ~420€
4. Anderes, nämlich…?

🚀 New Ollama Model Release! 🚀
Model: embeddinggemma
🔗 https://ollama.com/library/embeddinggemma

#Ollama#AI#LLM #mcpo

Finding thousands of exposed Ollama instances using Shodan

https://blogs.cisco.com/security/detecting-exposed-llm-servers-shodan-case-study-on-ollama

#HackerNews#Finding#Exposed#Instances#Shodan#Ollama#Cybersecurity#SecurityResearch

#ollama's adding a UI! 🤯 The CLI/API champions are bringing a polished interface. Perfect for new users who want a simple, single-install experience. #ollama #ai#localAIhttps://youtu.be/prrWESXl7wg

🚀 New Ollama Model Release! 🚀
Model: embeddinggemma
🔗 https://ollama.com/library/embeddinggemma

#Ollama#AI#LLM #mcpo

#ollama's adding a UI! 🤯 The CLI/API champions are bringing a polished interface. Perfect for new users who want a simple, single-install experience. #ollama #ai#localAIhttps://youtu.be/prrWESXl7wg

Finding thousands of exposed Ollama instances using Shodan

https://blogs.cisco.com/security/detecting-exposed-llm-servers-shodan-case-study-on-ollama

#HackerNews#Finding#Exposed#Instances#Shodan#Ollama#Cybersecurity#SecurityResearch

@rolle kun olet #ollama käyttäjä niin olisin kysynyt: kuinka "local" ollama siis perusasetuksilla on. Asensin juuri viimeisimmän päivityksen ja otin käyttöön sen gpt-oss:20b:n mutta jotenkin noista asetuksista saan vaikutelman että se kommunikoisi netin kanssa paitsi jos laitan "lentokonetilan" päälle?