Discussion
Loading...

Post

  • About
  • Code of conduct
  • Privacy
  • Users
  • Instances
  • About Bonfire
Sebastian Lasse
@sl007@digitalcourage.social  ·  activity timestamp 2 months ago

moin @acka47 -
kennst Du oder wer sich mit semantischer #Kompression aus?

Die Datenmengen bei meiner Fedi--Software lassen sich halt drastisch reduzieren. Nun habe ich mit semantischer Kompression für nameMap, summaryMap, contentMap begonnen [die multilingualen Sachen in ActivityPub].

Aber ich weiss nicht, was gute Werte sind. Hab DE und EN fertig.
Ausgegangen bin ich von 1 Mix aus den aktuellen news corpi und fediverse corpi und es macht so
28.5 - 29.5% bei deutsch
und
27-28% bei englisch

Gibt es da Vergleiche?
#komprimierung #texte

  • Copy link
  • Flag this post
  • Block
Adrian
@acka47@openbiblio.social replied  ·  activity timestamp 2 months ago
@sl007 Nein, da kenn ich mich nicht mit aus, booste aber mal.
  • Copy link
  • Flag this comment
  • Block
Sebastian Lasse
@sl007@digitalcourage.social replied  ·  activity timestamp 2 months ago
@acka47

ok, kann auch gern 1 Repo posten.
Es komprimiert Texte zu einem Uint8Array, dass dann <30% des Originals ist - und zurück.
Frag mich gerade ob/wie ebooks komprimiert werden.
Wegen [DE] #Datensparsamkeit und so :)

  • Copy link
  • Flag this comment
  • Block
Sebastian Lasse
@sl007@digitalcourage.social replied  ·  activity timestamp 2 months ago
@acka47
> booste aber mal.

^ Hatte ich gemacht: https://digitalcourage.social/@sl007/114977490278865013
Es spart nochmal weitere 5% (ca. 75% Kompression DE und 80% EN).

  • Copy link
  • Flag this comment
  • Block
Log in

bonfire.cafe

A space for Bonfire maintainers and contributors to communicate

bonfire.cafe: About · Code of conduct · Privacy · Users · Instances
Bonfire social · 1.0.0-rc.3.1 no JS en
Automatic federation enabled
  • Explore
  • About
  • Members
  • Code of Conduct
Home
Login