#42 | Vom Prompt zum Partner – ETH-Forscher Sven Pfiffner über die Zukunft spezialisierter KI-Systeme

0:17 Sven Pfiffner herzlich Willkommen zurück in unserem Podcast. Du warst ja schon mal bei uns zu Gast. Du Forschst an der ETH zum Thema künstliche Intelligenz, speziell bezogen auf Grafiken heute. Du beschäftigst dich auch mit der Frage, wie KI Systeme zusammenarbeiten, das ist heute auch das Thema, also wenn ich heute JPT oder Cloud nutze, spreche ich mit einem einzigen Modell. Du sagst, dass sich das jetzt gerade grundlegend ändert, warum? Ja, also zuerst mal danke für die Einladung. Und ja, das ist tatsächlich so. Wir haben die Situation, dass es bereits jetzt bei Herstellern wie Open AI oder Entropic oder Google der Fall ist, dass wir tatsächlich nicht mehr mit einem einzigen System kommunizieren, sondern das geht bereits so in eine Richtung, wo mehrere Systeme miteinander arbeiten, um bestimmte Aufgaben zu beenden. Also es geht wirklich in diese Richtung. Und das führt dann auch dazu, dass wenn wir einen Befehl eingeben, das Ganze nicht mehr einfach zu einem Agenten geht, sondern halt zu einer großen Menge an verschiedenen spezialisierten Teilsystemen.

1:27 Jetzt gibt gibt es eben dieses Prinzip. Mixture of Experts, wie kannst du das erklären, dass es auch nicht Techniker verstehen, worum es da geht? Ja, also ich schreibe das immer gerne mit einem. Aufenthalt im Krankenhaus wenn ich ein Leiden habe und ins Krankenhaus gehe, dann will ich ja auch nicht, dass eine Person alles macht. Ich gehe erst mal dahin, dann lasse ich mich tranchieren und dann gibt es, je nachdem was wie das Leiden ist, einen Spezialisten für das Herz, einen Spezialisten für die Haut und so weiter und sofort und bei Mix chave Experts läuft das eigentlich ziemlich ähnlich, also es ist nicht mehr ein Modell, das alles kann. Sondern es ist ein Zusammenspiel aus vielen verschiedenen Modellen, die sich untereinander koordinieren und am Anfang, wenn wir dem einen Befehl geben, dann wird das an das entsprechende Expertenmodell weitergeleitet. Eben.

2:16 Man sagt ja sonst so viele Köche verderben den Brei, das muss halt ja gesteuert werden, welcher Experte oder vielleicht muss man auch sagen, welche Expertin dann irgendwo zum zum Einsatz kommt, ja. Ja, also es gibt da 2 grundlegende Methodologien einmal. Dass wir das vor dem Eingeben in das Modell manuell steuern können. Beispielsweise kann dann ein Experte ausgewählt werden. Anhand von dem Abo Modell, das der Nutzer hat oder wieviel Auslastung gerade der Server hat. Dass dann ein stärkeres oder schwächeres Modell genommen wird. Bei Mixed of Experts ist es aber tatsächlich so, dass. Schlussendlich alle Experten in einem Modell sind, also in einem Netzwerk, aber das ist dann wieder da drauf, trainiert spezielle Teile zu aktivieren oder deaktivieren, je nachdem was es braucht, wie beim menschlichen Gehirn, wo ja nicht immer jedes jeder Gehirnbereich aktiviert wird, sondern je nachdem, was gerade nötig ist, aktiviert das Gehirn selber bestimmte Regionen und so ist das eigentlich in einem Modell dann auch. Ist es dann die Aufgabe des Menschen, das zu machen? Also ich meine, bis jetzt hat man ja gepromptet und jetzt wird man da mehr so zum.

3:23 Orchestrator oder Organisator quasi oder oder wie muss, wie muss man das verstehen oder macht die Maschine das selbstständig? Ja, also Promps sind immer noch wichtig in dem Sinn, dass man dem Modell sagt, was man will. Also man muss klar definieren, was möchte ich eigentlich und was soll dabei rauskommen, aber klassisches prompt Engineering, wie wir es bis jetzt kennen, wo man wirklich iterativ die Prompts besser machen muss und auf jede Kleinigkeit achten. Das wird immer weniger, weil halt das Modell durch diese Mixed Shift Expert Möglichkeiten immer mehr lernt und besser darin wird selbst zu entscheiden wie das es vorgeht. Das heißt, dass die ganze Workflows übernimmt, statt nur einzelne Aufgaben. Hast du ein Beispiel, wo das heute schon so funktioniert? Ja, ein klassisches Beispiel ist Kundensupport. Das ist ein.

4:15 Relativ einfach machbares Problem für eine KI, weil es klar definiert ist und es immer ungefähr nach dem gleichen Schema abläuft. Und da ist es mittlerweile schon so, dass wir Modelle haben können, die sind fest an ein E Mail System oder ein Telefonsystem angeschlossen. Und wenn eine Kundenanfrage reinkommt, merkt der selber, in welche Richtung geht die Anfrage, worum geht es dann, wird der entsprechende Experte dazu geschalten und wenn das Modell merkt, dass es nicht Auskunft geben kann oder nicht weiterhelfen kann, wird das Ganze dann an einen Menschen weitergeleitet, also eigentlich sehr automatisiert. Aber während das automatisiert läuft, kann man diesem System dann vertrauen. Oder anders gefragt, wer wie wie findet die Kontrolle statt, dass das dann auch wirklich alles mit. Mit rechten Dingen.

5:01 Und zugeht, ja. Es ist immer schwierig, bei KI von Kontrolle zu reden, weil schlussendlich ist KI ja nichts anderes als ein probabilistisches System. Das heißt, es arbeitet mit Wahrscheinlichkeiten und bei diesen Wahrscheinlichkeiten kann es halt immer auch sein, dass etwas rauskommt, was nicht gut ist. Das ist in der Natur von von der Architektur. Aber was man machen kann, ist das Modell dann als geschlossene Blackbox betrachten und halt laufend qualitativ evaluieren, wie dass das ganze funktioniert mit Beispielen. Man kann vergangene Interaktionen aufzeichnen und dann schauen, was hat gut funktioniert, was hat nicht gut funktioniert und dann das Modell entsprechend dazu bringen, mehr in die gute Richtung zu gehen und es dann so halt laufend verbessern. Also Blackbox heißt ja so quasi einfach gesagt, gibt ein Input, gibt ein Output und dann schaut man, wie gut ist der Output. Aber man muss ja dann vielleicht irgendwie. Ja, vielleicht sind wir Menschen halt so kontrollfreaks, irgendwie immer noch, wenn man dann, wenn dann irgendwas nicht läuft, will man ja wissen, wo, wo ist der Fehler passiert und wie genau, was ist da genau vonstatten gegangen. Ja, es ist halt schwierig, weil gerade große KI Modelle mittlerweile so viele Parameter haben und so viele Elemente, die da mitspielen, dass.

6:20 Eigentlich keiner mehr 100% weiß, was funktioniert jetzt wirklich in welchem Schritt, in welchem Neuronen und so weiter und darum ist es halt eben wichtig, dass man, dass man das evaluieren laufend macht und dass man es auch gut austest und evaluiert, bevor dass man es deployed, also veröffentlicht, und dass man auch entsprechende Sicherheitsschranken drin hat, dass das Modell, wenn es zum Beispiel nicht weiter weiß. Nicht einfach etwas erfindet, sondern entsprechend dann lieber den Nutzer aufmerksam macht und sagt, Hey, ich weiß es nicht, ich kann es nicht beantworten. Also heute ist es ja oft so. Gibt es beeindruckende Demos, das staunt man, was die KI alles kann und alles macht, aber gleichzeitig ist ja auch die Frage, ist es dann verlässlich und gibt es dann eine Verlässlichkeit? Ich glaube, da muss man, da muss man sehr gut unterscheiden. Ja, also.

7:11 Demos, die man so sieht, die sind immer sehr beeindruckend, das stimmt, aber da muss man halt wirklich auch sehen, dass viele Hersteller Sherry picken betreiben und das das bedeutet eigentlich, dass sie alles kontrolliert machen und halt Beispiele und Anwendungen zeigen, wo sie vorher schon getestet haben, dass es genauso gut funktioniert und das ist halt fundamental anders von Problemen, die tagtäglich. Auftreten, wo man nicht alles kontrollieren kann und wo auch manchmal ein Input reinkommt, der nicht zu erwarten war. Also jedes Unternehmen will ja heute dabei sein und zeigen, wir arbeiten mit KI und schaut mal, was es alles kann. Aber wenn man jetzt wirklich Entscheidungen treffen muss, dass man die KI einsetzt, wie, wie kannst du denn als Entscheider erklären, ob ein ein Ki System wirklich produktionsreif ist oder einfach nur gut aussieht und beeindruckt? Ja, eben alle seriösen oder die meisten seriösen Systeme machen Evaluierungen auf andere Baselines also sie vergleichen einerseits qualitativ, wie gut ist das Modell objektiv gesehen, andererseits vergleichen sie es auch mit vorherigen Modellen und so sieht man dann halt im direkten Vergleich was schneidet besser ab, was schneidet schlechter ab. Aber wenn ich jetzt.

8:28 Ein KI Modell deployen würde und ich müsste rausfinden ob ob es meinen Ansprüchen entspricht. Dann müsste ich halt eben es mal auf einem auf einer Testumgebung oder so laufen lassen schauen wie funktioniert es und halt dann auch wirklich einen Plan haben wie ich das Ganze im Zaum halte und auch wie ich schaue oder wie ich reagiere wenn mal etwas rauskommt was nicht ideal ist. Eben. Also machen wir einen Sprung. Das Ganze wird immer komplexer, aber du sagst, wenn alles komplexer wird, dann muss die Bedienung, die Oberfläche muss dann einfacher werden und. Warum reicht es vielleicht jetzt bald schon von bald nicht mehr, wenn man einfach nur ein Chat Fenster hat? Ja, die grundsätzliche Natur von einem Chat Fenster ist ja frage rein und Antwort raus. Das funktioniert gut so wie man es jetzt die letzten Jahre kennt, wenn man einfach mit einer KI kommunizieren will für eine Frage eine Antwort, aber je komplexer das wird und je mehr verschiedene Schritte in in den Aufgaben der KI drin sind. Desto schwieriger wird das.

9:27 Das ist, wie wenn man mit einem Arbeitskollegen vielleicht über whatsapp kommuniziert, und da ist es ja auch weniger einfach, als wenn man dem Gegenüber sitzt oder wenn man mehr Möglichkeiten hat zur Kommunikation, und darum ist ein chatfenster Halt gerade für komplexe Sachen etwas eingeschränkt, also. Ich merk das ja auch schon, wenn ich jetzt mit Claude was prompte, dann stellt Kurt manchmal gegenfragen, das ist ja auch schon wie ein Gespräch, das geht so in Richtung. Avatar kann man sagen oder dass man, aber das wäre dann, das geht dann noch einen Schritt weiter, dass es ein Gesicht hat, das mit einem spricht. Ja, grundsätzlich sind Avatare in der KI alles, was zu dem Nutzer spricht. Sei das durch Text, sei das durch Sprache, durch einen visuellen Avatar. Da gibt es natürlich verschiedene Komplexitätsstufen. Also wie weit sind wir denn davon weg, dass ich mit einem KI Avatar so ganz natürlich spreche? Wie mit einem Kollegen.

10:21 Es kommt immer darauf an, was man als natürlich betrachtet. Wir haben zum Beispiel bei der Sprache schon sehr gute Fortschritte gemacht, wir können nicht nur textlich kommunizieren, wir können auch über die Sprache kommunizieren, wo die KI Modelle auch in Echtzeit schon antworten können, das sieht man auch bei diesen Sprachfunktionen von beispielsweise Jet GPT, aber da ist natürlich noch viel Luft nach oben, das ist immer noch keine direkte Kommunikation, dafür fehlt einiges. Ein Avatar, der wirklich sich anfühlt wie ein Kollege, der muss nicht nur reagieren können, der muss auch kleinere Sachen sehen. Zum Beispiel, wie man sich bewegt, wie sich die Stimme verändert, aha, und so weiter und sofort es gibt.

11:03 Schon dass dass dann der Avatar irgendwie merkt, du bist irgendwie nervös oder unfreundlich, oder? Energisch, oder? Und dann darauf auch irgendwie reagiert. Ja, das ist wieder das Thema von verschiedenen KI Modellen, die zusammenarbeiten. Es gibt ja schon KI Modelle, die beispielsweise aus einem Videoinput von von einer Webcam erkennen können, ob der Mensch der dem der dem Avatar gegenüber steht, zum Beispiel nervös ist, ob er blinkt, wie oft er sich umsieht, ob er schwitzt, wie oft er sich bewegt und so weiter und sofort und diese Sachen können alle auch in die Avatare mit eingebunden werden. Wir arbeiten zum Beispiel im Moment an der ETH, am Computer Graphics Lab, an einem digitalen Einstein.

11:46 Ja, das ist eine Kopie des originalen Einsteins, der auch an der ETH war, und dort haben wir verschiedene Systeme, die zusammenarbeiten. Also einerseits redet er er, er sucht sich Dialog aus oder er generiert Dialog mit LEM System. Nutzt dann Sprachclon Technologie, um auch wie Einstein zu reden und passt auch die Animationen an und kann auch reagieren auf auf das Gegenüber durch eine Webcam. Also das hört sich ja so auf Anhieb sehr gut an, aber es ist vielleicht, das ist ja wieder so eine ethische Geschichte, frage.

12:27 Ist es vielleicht manchmal gar nicht gut, wenn wir irgendwie dadurch vergessen, dass wir gar nicht mit einem Menschen sprechen, sondern mit einer Maschine? Ja, das das Thema gibt es schon mit textbasierten KI Modellen, da gab es ja 2025 schon den Fall, dass das JGPT 4 o Modell von Open AI. Zurückgeschraubt wurde in der Persönlichkeitsentwicklung, weil viele Leute eine persönliche Bindung zu dem Modell gefunden haben. Davon hat auch Open Eye selber gewarnt und das dann entsprechend wieder ein bisschen zurückgeschraubt. Der Mensch ist halt drauf ausgelegt, sobald das Gegenüber wirkt als wäre es echt und empathisch ist, dass man dann automatisch eine Bindung aufbaut, darum gibt es da immer ein bisschen die Verantwortung, auch von den Modellherstellern, wo das ein um das Halt gewisser Weise zu verhindern.

13:19 Und dann auch immer klar zu kommunizieren, Hey, da ist eine Maschine gegenüber und kein Mensch, dass dass man das halt nicht irgendwie versucht zu verheimlichen damit, dass jedem Nutzer eigentlich klar ist. Also es gibt es ja auch, wenn man das jetzt noch weiterzieht. Es gibt ja auch die Diskussion oft so in irgendwelchen Firmen, die sagen, wir installieren jetzt irgendein KI System und geben dir einen Namen Otto oder Jenny oder weiß ich was und man sagt dann, ja, ich habe da noch mit Jenny gesprochen, es wird also quasi. Man man setzt quasi die KI so mit an den an den Tisch oder schließt sie so in die Mitarbeitenden. Da gibt es aber Leute, die eben sagen, man sollte das eigentlich nicht tun, weil es ist keine Person, die irgendwie Verantwortung übernimmt oder so. Ist das ne Frage, die mit mit der ihr euch auch auseinandersetzt.

14:09 Ja, also das ist ein großes Forschungsgebiet. Wie macht man auch diese Safeguards, dass dass die Menschen halt nicht diese Bindung zu sehr aufbauen in einer in einem gewissen gesunden Maß ist das aber meiner Meinung auch in Ordnung, ich meine, es gibt auch Menschen, die geben ihrem Auto einen Namen und so weiter und sofort, also wenn man halt diese gewisse Distanz hat und weiß, schlussendlich ist das eine Maschine. Dann ist das nicht problematisch. Problematisch ist es halt, dass dann durch dadurch halt schnell auch noch mehr entstehen kann und dann sind wir in diesem Bereich, wo es halt auch psychologisch dann gefährlich werden kann. Und das ist dann vielleicht mehr ein eine, eine Challenge, ein mind Change, wie man so sagt, oder ein Ansichtswechsel, den der Mensch vollziehen muss, dass man sagt, ja nicht alles, was mir nicht jede Instanz, die mir Antwort ist, automatisch ein Mensch oder ich muss da wirklich unterscheiden.

15:06 Leiden. Man muss wirklich unterscheiden, mit wem man es zu tun hat. Das geht ja dann auch weiter bei Robotern. Also ich meine, es ist ja heute ist ja, wir reden jetzt hervor, vorwiegend von Displays und und der virtuellen Welt, aber es gibt ja dann wirklich die physischen, die Roboter, die einem dann vielleicht schon sehr, sehr bald gegenüber sitzen und dann auch so physisch wie Menschen agieren. Ich kann mir auch vorstellen, dass das ganze halt jetzt ein bisschen auch stark stärker ist. Weil halt die ganze Technologie neu ist. Das ist neu für uns. Wir haben das noch nicht gesehen früher. Die ersten Computerspiele sahen ja nach heutiger Sicht auch nicht wirklich toll aus, aber die Leute haben diskutiert, kann das der psychisch Schaden, weil es zu echt ist und so, aber man gewöhnt sich halt in gewisser Weise auch ein bisschen dran. Also ich meine, die Diskussion gab es schon vorher mit Film und Fernsehen und auch rein Audio das dann hieß ja ist das gut und.

16:06 Ja, wahrscheinlich ist es, muss man sich dran gewöhnen. Es ist natürlich heute alles viel, viel, viel intensiver und geht in viel mehr Bereiche rein, eben wenn ich sehe, dass bei uns im Quartier schon die Pizzas ausgeliefert werden von Roboterhunden es geht wirklich in in sehr viele Bereiche rein, wo man es gar nicht für möglich gehalten hätte. Wenn du jetzt aber so 3 Jahre vorausschaust, was was wird sich da eine Arbeitswelt für. In Sachen ki ändern oder durch ki ändern in der normalen Arbeitswelt? Also ich denke sicher, dass die KI bleiben wird, das ist klar und dass sie auch laufend besser wird und immer mehr Aufgaben übernehmen kann und unterstützen kann, was ich nicht glaube, ist, wie viele jetzt Angst haben, dass die Jobs verschwinden werden komplett oder dass Leute ersetzt werden durch KI, es ändert sich einfach die Arbeit. Diesbezüglich, dass man vielleicht nicht mehr die ganzen repetitiven Aufgaben selber machen muss, dass man nicht mehr selber E Mails beantworten muss, dass man nicht mehr selber mit dem Kunden telefonieren muss, wenn es keine wichtigen Gespräche sind, sondern dass es mehr in eine Überwacherrolle oder in eine.

17:13 In eine. Organisator. Genau. Kubator oder so, ja. Dass dann vielleicht jeder Mitarbeiter einen persönlichen KI Assistenten hat bei der Arbeit, wo der seine repetitiven Arbeiten übernimmt, dass der Mitarbeiter sich komplett darauf konzentrieren kann, halt das zu machen, was der Mensch halt gut kann, zwar kreativ zu sein oder neue Ideen zu finden und neue Produkte zu entwickeln und so weiter. Also ich glaube mittlerweile, dass die KI auch mindestens so kreativ sein kann, weil sie ja. Aus viel mehr Quellen schöpfen kann und auch vielleicht offener ist. Auch für Gedankensprünge, die wir uns vielleicht aus irgendwelchen Befangenheiten gar nicht trauen.

17:55 Wie wie siehst du das oder denkst du denn die die Maschine ist da, was Kreativität betrifft, dem dem betrifft den Menschen immer unterlegen. Grundsätzlich ist es ja so jetzt am Beispiel von KI basierten Bildgenerationen, das ist ja auch sehr oft in der eher eine große Thematik, auch ob das jetzt als Kunst zählt, ob es nicht als Kunst zählt. Ja, ich sehe das so, dass schlussendlich diese Bilder generiert werden anhand von Trainingsdaten, also was das Modell gesehen hat beim Training und die neuen Bilder sind einfach eine Kombination aus allem, was er gesehen hat. Und das ist eine philosophische Frage, ob das beim Menschen ja nicht auch ähnlich ist. Ich mein, alles, was er erschafft, ist auch eine Mischung aus allem, was bisher im Leben gesehen wurde. Ich sehe, dass den Unterschied eher nicht bei der großen Kreativität, sondern mehr, dass bei einer Maschine schlussendlich immer noch Wahrscheinlichkeitsverteilungen dahinter stehen, das heißt, es ist trotzdem alles mechanisch, wie wenn jemand einen riesigen Würfel würfelt und so ein Bild generiert und bei einem Menschen sind. In Bildern und in Musik und in Filmen. Alle Kunstwerke haben immer diesen persönlichen Touch, wo auch ein bisschen die eigenen Gefühle oder das eigene erfahren drin steckt und das fehlt halt bei einem Computer und ich denke, dass man das immer spüren wird in gewissem Maß. Jetzt noch mal zurück zum zum Grundthema. Also du du du sagst, der Mensch wird vom prompt zum Orchesterator was bedeutet das für die Skills? Müssen wir jetzt neben dem

19:26 Prompton auch noch das Orchestrieren? Lernen oder anders prompten? Ja, also wie am Anfang auch erwähnt, das klassische prompt Engineering wo ich sage ich muss jetzt den prompt genau so schreiben und wenn ich das ersetze durch das, dann wird es vielleicht ein bisschen besser. Das wird immer mehr verschwinden. Aber es ist halt immer noch wichtig, und das ist fast das Wichtigste. Und das ist ja eigentlich auch das, was hinter Protentionering steckt. Dann im Gedanken schlussendlich, wie kommuniziere ich diesem Modell, was ich will, und das unterscheidet sich immer weniger davon von der Frage, wie kommuniziere ich einem Teamkollegen, was ich will oder einer Teamkollegin, und das wird, glaube ich, in Zukunft immer mehr sein, dass wir diese kommunikativen Skills nicht nur für Menschen haben müssen, sondern auch mit der Maschine. Wie kommt man da rein?

20:14 Einfach, indem man sich viel damit beschäftigt, oder muss man da irgendwas einer Instruktion oder oder so haben und bringen einen die Systeme automatisch da rein? Ja, also ich denke, wenn man immer wieder mit den Systemen redet, Mhm, dann entwickelt sich da ein gewisses Gespür für. Man sieht ja dann, man hat ja direkt n direktes Feedback, das hat gut funktioniert, das hat nicht so gut funktioniert, wie auch wenn man mit einem Menschen redet, Mhm, es hilft sich ja, wenn man wirklich komplett wissen will, was passiert, wenn man dahinter guckt und auch technisch anschaut, wie diese Modelle funktionieren. Aber ich denke schon, dass man auch eine eine Intuition dafür entwickeln kann, wenn man sich einfach drauf einlässt und halt immer wieder mit den mit den KI Modellen interagiert. Ja, vielen Dank.

21:02 Das ist sehr spannend, was gerade derzeit passiert und vielen Dank, dass du hier warst und danke für das interessante Gespräch. Sein gerne schön, danke.