@rstockm @maxplanckgesellschaft und danke für den Vortrag, spannend.

Hier noch der Link auf dem QR am Ende.
pad.wolkenbar.de/katze

@rstockm @maxplanckgesellschaft dieser artikel trifft jetzt nicht genau die diskussion, regt jedoch zum denken an, vorallem im bezug auf die zukunft :) https://archive.ph/P1NqX

@rstockm @maxplanckgesellschaft /2 ich referenziere mal dieses yt-short: https://www.youtube.com/shorts/WP5_XJY_P0Q welches auch sagt, das die dinger stateless sind. doch zeigt es auch, wenn der input nicht ist wie erwartet, das komplette modell in sich zusammenfällt. d.h. für mich, ist der input nicht erwartet, kann die _software_ nicht damit umgehen. und das zeigt mir zumindest, das eine LLM noch sehr weit von intelligenz entfernt ist.
die inputs zu verändern, ist glaube ich inzwischen bei allen kommerziellen

@rstockm @maxplanckgesellschaft /3 anbietern nicht mehr möglich, da es genau diese symptomatik zeigen würde. was natürlich auch schlecht fürs marketing ist...oder denkst du, dass dieses verhalten durch noch ein paar iterationen verschwinden würde? jedenfalls sind die dinger aus meiner sicht nicht intelligent. sie können keine logischen verknüpfungen herstellen, welche nicht in den trainingsdaten vorhanden sind. auch fällt das modell auf die fresse, wenn der input verhalten von dem abweicht,

@rstockm @maxplanckgesellschaft /4 was trainiert wurde. und so sehe ich es zu mindest weiterhin als software. was auch dazukommt, das konstante framing als "intelligent" spricht den dingern unterbewusst mehr zu als sie können. denn unser hirn hat schneller einen bias als allen menschen lieb ist :)
referenz fun facts: https://www.youtube.com/watch?v=rEmsAg5DUO8 (trigger warnung, tote menschen)

just my 2 cents

@rstockm @maxplanckgesellschaft finde es faszinierend das die ganze zeit von KI gesprochen wird. diese modelle sind nicht intelligent. sie können keine logischen zusammenhänge erkennen. für uns sieht es so aus, als ob sie das können, da wir aktuell so viel rechenzeit draufwerfen, das nach dem xten loop eine lösung rauskommt.

@x4FF3 @maxplanckgesellschaft …und das unterscheidet sich vom Gehirn genau - wodurch? Wenn ich dir eauch nur ein mittelschweres logisches Problem gebe aber nur 1 Sekunde Bedenkzeit, wohin genau bringt dich dann all deine menschliche Intelligenz? Auch wir Menschen betreiben zeit/ressourcenaufwändiges „reasoning“.

@rstockm @maxplanckgesellschaft llms rationalisieren, sie argumentieren nicht. sie können nur auf den trainingsdaten outputs generieren.

@rstockm @maxplanckgesellschaft meine menschliche Intelligenz hat mich jetzt schon sehr viel öfter in meinem beruf zu einer lösung gebracht, wie irgendein llm. kollegen haben ganze wochen damit verschwendet dinge zu debuggen mit den ach so tollen llms. die lösung war danach, nach kurzem anwenden logischen denkens, der 2. treffer bei google...
leider finde ich gerade den vortrag eines wissenschaftlers nicht mehr, welcher darlegt warum llms nur rationalisieren und nicht argumentieren.

@x4FF3 @maxplanckgesellschaft Hast du meinen Vortrag überhaupt angesehen?

@rstockm @maxplanckgesellschaft /1 jetzt, ja. wenn ich mir jetzt mal das bsp bei min 30 ansehe. ist es für dich faszinierend, dass ein 1000fach in büchern, millionenfach im internet referenzierter mathematischer algorithmus, welcher logischerweise mit den kennwörtern die du genannt hast in verbindung steht, von der LLM "gefunden/referenziert" wird? sha-256 wird so oft in den trainingsdaten stecken, dass mich das nicht überrascht. das stochastische modell dahinter wirft dir diese antwort raus.

@x4FF3 @maxplanckgesellschaft Das LLMs stateless sind ist nirgendwo festgelegt, das ist derzeit nur den begrenzten Limitierungen geschuldet. Es sprich technisch überhaupt nichts dagegen ein LLM 24/7 „durchdenken“ zu lassen, ich bn mir sicher damit wird auch schon experimentiert.
Die Folge wären dann Kommentare wie „ich habe nochmal über unser Gespräch von Vorgestern nachgedacht. Ich hätte da noch einen Gedanken…“
Das wird bald kommen.

@rstockm @maxplanckgesellschaft du hast schon verstanden wie die dinger funktionieren? du wirfst deinen prompt da rein, das ding setzt den ersten output token, dann wird dein prompt + der erste token wieder oben reingeworfen. etc. und wenn das ding "nachdenkt" mit alten prompts, wirds wieder oben ins modell reingeworfen, oder nicht?

@rstockm @maxplanckgesellschaft https://www.youtube.com/watch?v=ShusuVq32hc hier ist der link zu einem vortrag, welcher imho sehenswert ist.