Vor 11 und vor 8 Jahren habe ich Keynotes zum Thema Künstliche Intelligenz gehalten und behaupte: die sind ziemlich gut gealtert. Jetzt war es wieder soweit: vor Bibliotheks- Kolleg:innen von @maxplanckgesellschaft habe ich eine Art „state of the #AI union" gegeben mit sehr konkreten Empfehlungen:
Ich weiß ihr habt wenig Zeit, aber dies sind niedrigschwellige Maßnahmen um im #KI game auf dem Stand zu bleiben.
Darf gerne auf #PeerTube befreit werden:
https://www.youtube.com/watch?si=M6Swvww4tMZx8kKZ&v=CqoX9IY8gbQ&feature=youtu.be

@rstockm @maxplanckgesellschaft finde es faszinierend das die ganze zeit von KI gesprochen wird. diese modelle sind nicht intelligent. sie können keine logischen zusammenhänge erkennen. für uns sieht es so aus, als ob sie das können, da wir aktuell so viel rechenzeit draufwerfen, das nach dem xten loop eine lösung rauskommt.

@x4FF3 @maxplanckgesellschaft …und das unterscheidet sich vom Gehirn genau - wodurch? Wenn ich dir eauch nur ein mittelschweres logisches Problem gebe aber nur 1 Sekunde Bedenkzeit, wohin genau bringt dich dann all deine menschliche Intelligenz? Auch wir Menschen betreiben zeit/ressourcenaufwändiges „reasoning“.

@rstockm @maxplanckgesellschaft meine menschliche Intelligenz hat mich jetzt schon sehr viel öfter in meinem beruf zu einer lösung gebracht, wie irgendein llm. kollegen haben ganze wochen damit verschwendet dinge zu debuggen mit den ach so tollen llms. die lösung war danach, nach kurzem anwenden logischen denkens, der 2. treffer bei google...
leider finde ich gerade den vortrag eines wissenschaftlers nicht mehr, welcher darlegt warum llms nur rationalisieren und nicht argumentieren.

@x4FF3 @maxplanckgesellschaft Hast du meinen Vortrag überhaupt angesehen?

@rstockm @maxplanckgesellschaft /1 jetzt, ja. wenn ich mir jetzt mal das bsp bei min 30 ansehe. ist es für dich faszinierend, dass ein 1000fach in büchern, millionenfach im internet referenzierter mathematischer algorithmus, welcher logischerweise mit den kennwörtern die du genannt hast in verbindung steht, von der LLM "gefunden/referenziert" wird? sha-256 wird so oft in den trainingsdaten stecken, dass mich das nicht überrascht. das stochastische modell dahinter wirft dir diese antwort raus.

@rstockm @maxplanckgesellschaft /2 ich referenziere mal dieses yt-short: https://www.youtube.com/shorts/WP5_XJY_P0Q welches auch sagt, das die dinger stateless sind. doch zeigt es auch, wenn der input nicht ist wie erwartet, das komplette modell in sich zusammenfällt. d.h. für mich, ist der input nicht erwartet, kann die _software_ nicht damit umgehen. und das zeigt mir zumindest, das eine LLM noch sehr weit von intelligenz entfernt ist.
die inputs zu verändern, ist glaube ich inzwischen bei allen kommerziellen

@x4FF3 @maxplanckgesellschaft Das LLMs stateless sind ist nirgendwo festgelegt, das ist derzeit nur den begrenzten Limitierungen geschuldet. Es sprich technisch überhaupt nichts dagegen ein LLM 24/7 „durchdenken“ zu lassen, ich bn mir sicher damit wird auch schon experimentiert.
Die Folge wären dann Kommentare wie „ich habe nochmal über unser Gespräch von Vorgestern nachgedacht. Ich hätte da noch einen Gedanken…“
Das wird bald kommen.