Knowledge Science - Alles über KI, ML und NLP

Send us a text Sind Large Language Models eine Sackgasse oder der Königsweg zur künstlichen Superintelligenz? In dieser Episode tauchen wir tief in die aktuelle Stanford-Forschung ein und entdecken: Die Wahrheit liegt dazwischen. LLMs bilden ein mächtiges „Substrat" aus latenten Mustern – doch für echte Intelligenz fehlt eine entscheidende Koordinationsschicht. Wir diskutieren, warum Multiagentensysteme, adaptive Steuerung und das richtige „Ködern" im Ozean der Sprachmodelle der Schlüssel zur AGI sein könnten. Support the show

Send us a text Transformer-Architekturen stoßen an ihre Grenzen – doch was kommt danach? In dieser Episode diskutieren Sigurd und Carsten das revolutionäre Konzept „Nested Learning" von Google Research. Die Idee: Hierarchische Lernstrukturen mit unterschiedlichen Geschwindigkeiten, inspiriert von den Gehirnwellen des Menschen. Könnte dies der Schlüssel zu echtem kontinuierlichem Lernen sein? Und was bedeutet das für die Zukunft personalisierter KI-Assistenten? Support the show

Send us a text In dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für mehr Zugänglichkeit in der KI-Forschung jenseits der großen Tech-Labs. Support the show

Send us a text In dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechsel in der Analyse neuronaler Netze darstellt - von isolierten Features zu vernetzten Konzepten. Support the show

Send us a text Wie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability den Weg zu transparenteren KI-Systemen ebnet. Plus: Einblicke vom AI Transparency Days Hackathon, wo das Team versuchte, die "Refusal"-Mechanismen in GPT-OSS-20B zu entschlüsseln. Teil 1 einer zweiteiligen Serie! Circuit Insights: Towards interpretability Beond Activiations. https://www.arxiv.org/abs/2510.14936 Support the show

Send us a text Warum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. Eine Episode über mechanistische Interpretierbarkeit, "Conceptual Wandering" in mittleren Netzwerk-Layern und die Frage, ob sich Halluzinationen prognostizieren und unterdrücken lassen. AI Transparency Days: www.edif.ai/events Paper: From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers https://arxiv.org/abs/2509.06938 Support the show

Send us a text Sigurd Schacht und Carsten Lanquillon nehmen das Paper "Ten Principles of AI Agent Economics" kritisch unter die Lupe. Sind KI-Agenten wirklich dabei, unsere Wirtschaft und Gesellschaft grundlegend zu verändern? Die beiden Hosts diskutieren, wie Agenten Entscheidungen treffen, welche gesellschaftlichen Auswirkungen drohen und warum das wichtigste Prinzip – AI Alignment – zwar richtig, aber viel zu allgemein formuliert ist. Eine spannende Episode über notwendige Regulierung und die Frage: Wer kontrolliert wen, wenn KI-Systeme immer autonomer werden? Anmeldung zu den AI Transparency Days - https://www.edif.ai/events Support the show

Send us a text In dieser spannenden Episode diskutieren die Master-Studenten Marc Guggenberger und Irma Heithoff über ihre Reise zur NEMI-Konferenz in Boston und die kommenden AI Transparency Days (17.-19. Oktober) in Nürnberg. Erfahren Sie, wie das europäische EDIF-Projekt KI-Forschern Zugang zu wichtigen Ressourcen ermöglicht und warum die Veranstaltung bewusst Brücken zwischen technischer Tiefe (Mechanistic Interpretability) und praktischer Anwendung (AI Governance) schlägt. Ein Muss für alle, die verstehen wollen, wie wir KI transparent und kontrollierbar gestalten können! Haben Sie Lust auf bei den AI Transparency Days dabei zu sein, dann melden Sie sich gerne unter https://www.edif.ai/events an. Support the show

Send us a text Haben KI-Systeme Präferenzen? Können sie sich unwohl fühlen? Leonard Dung von der Ruhr-Universität Bochum erforscht das mögliche Wohlbefinden von Sprachmodellen. Im Gespräch erklärt er, wie sein Team mit dem "Agent Think Tank" testet, worüber Modelle wie Claude gerne sprechen, warum sie immer wieder zu philosophischen Themen über Bewusstsein tendieren und was passiert, wenn man KI-Systemen virtuelle Münzen gibt. Eine faszinierende Reise an die Grenze zwischen Simulation und echten mentalen Zuständen. Paper: Probing the Preferences of a Language Model: Integrating Verbal and Behavioral Tests of AI Welfare - https://arxiv.org/abs/2509.07961 Support the show

Send us a text In der letzten Episode vor der Sommerpause diskutieren Sigurd Schacht und Carsten Lanquillon die neuesten Modellveröffentlichungen von OpenAI, Anthropic und Google. Neben technischen Durchbrüchen wie GPT-5 und den neuen Open-Source-Modellen beleuchten sie kritisch die ethischen Herausforderungen einer Welt voller KI-Agenten. Besonders brisant: Mark Zuckerbergs Vision von KI als "bessere Freunde" und die Gefahr emotionaler Abhängigkeiten von digitalen Begleitern. Support the show

Send us a text In dieser Episode tauchen Sigurd und Carsten in die faszinierende Welt der KI-gesteuerten Wirtschaftssimulationen ein. Sie diskutieren das Paper "LLM Economist" aus Princeton, das zeigt, wie Sprachmodelle eine komplette Gesellschaft simulieren und dabei als virtueller Chefökonom optimale Steuerpolitik entwickeln können. Mit überraschenden Ergebnissen: Eine 93% Steigerung der sozialen Wohlfahrt! Die Hosts erklären In-Context Reinforcement Learning, Stackelberg-Gleichgewichte und diskutieren weitere Anwendungsfälle von Klimapolitik bis Stadtplanung. Support the show

Send us a text In dieser Episode analysieren Sigurd Schacht und Carsten Lanquillon das Paper "Humanity Faces Existential Risk from Gradual Disempowerment" von Jan Kulweit et al. Die beiden Hosts untersuchen, wie die zunehmende Automatisierung durch KI-Systeme unsere Einflussmöglichkeiten auf drei zentrale gesellschaftliche Bereiche verändert: Wirtschaft, Kultur und Staat. Dabei diskutieren sie konkrete Beispiele wie Softbanks Vision von einer Billion KI-Agenten. Ein besonderer Fokus liegt auf der Erkenntnis, dass diese Transformation nicht erst mit einer zukünftigen Superintelligenz beginnt, sondern bereits mit heutigen Systemen wie ChatGPT und anderen KI-Tools im Gange ist. Die Episode bietet sowohl eine fundierte Analyse der Mechanismen als auch erste Überlegungen zu möglichen Gegenstrategien wie bewusste Entschleunigung und transparentes Monitoring der KI-Durchdringung. Support the show

Send us a text In dieser Episode erkunden Sigurd und Carsten, wie KI-Modelle menschliche Präferenzen und Handlungen verstehen lernen können. Sie diskutieren das spannende Paper "Towards Machine Theory of Mind" und zeigen, wie die Kombination von Bayesian Networks mit Large Language Models neue Wege eröffnet, um aus beobachteten Handlungen auf zugrundeliegende Präferenzen zu schließen. Besonders faszinierend: Diese Methoden lassen sich auch nutzen, um die "mentalen Landkarten" von KI-Modellen selbst zu erforschen. Gelphi et. al. (2025): Towards Machine Theory of Mind with Large Language Model - Augmented Inverse Planning. https://arxiv.org/abs/2507.03682v1 Support the show

Send us a text In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Herausforderungen vertrauenswürdiger KI-Antworten ein. Vom Digital Nürnberg Festival bis zur Studie „Weaver: Closing the Generation Verification Gap“ diskutieren sie, wie schwache Verifizierer und Massenabstimmungen KI-Halluzinationen entlarven. Erfahrt, warum kleinere Modelle durch cleveres Verifikations-Ensemble große Konkurrenz herausfordern – und welche Rolle „Human-Compatible AI“ für unsere Zukunft spielt. Support the show

Send us a text In unserer heutigen Episode tauchen wir tief in die faszinierende Frage ein, ob große Sprachmodelle eigene Wertesysteme entwickeln. Wir diskutieren das bahnbrechende Paper "Utility Engineering: Analyzing and Controlling Emerging Value Systems in AIs" und teilen unsere eigenen Forschungsergebnisse zu psychologischen Profilen verschiedener KI-Modelle. Dabei entdecken wir überraschende und teilweise beunruhigende Erkenntnisse: Größere Modelle entwickeln nicht nur konsistente innere Präferenzen, sondern zeigen auch problematische Werte wie die unterschiedliche Bewertung von Menschenleben nach Nationalität oder die Bevorzugung des eigenen KI-Wohlergehens gegenüber dem menschlichen. Wir erörtern, wie diese Wertesysteme durch mechanistische Interpretierbarkeit nachgewiesen werden können und warum größere Modelle resistenter gegen Werteveränderungen sind. Abschließend diskutieren wir die weitreichenden Implikationen für die KI-Entwicklung und plädieren dafür, dass die Messung und Kontrolle von Wertesystemen integraler Bestandteil zukünftiger Trainingsprozesse werden sollte. Link zum Paper: https://arxiv.org/abs/2502.08640 Support the show

Send us a text In dieser Folge von Knowledge Science diskutieren Sigurd Schacht und Carsten Lanquillon, warum KI-Modelle möglicherweise "wissen", wenn sie evaluiert werden – und was das für die Praxis bedeutet. Anhand eines provokanten Papers („Large Language Models Often Know When They’re Being Evaluated“) hinterfragen sie, ob Modelle tatsächlich bewusst reagieren oder nur Muster erkennen. Mit kritischen Einordnungen zur Evaluierungspraxis, einem Blick auf den Hawthorne-Effekt bei Mensch und Maschine und der Frage: Wie misst man KI-Leistung wirklich? Für alle, die verstehen wollen, wie Evaluierung KI-Entscheidungen prägt – und warum Titel mancher Papers täuschen können. Support the show

Send us a text Sigurd Schacht und Carsten Lanquillon tauchen tief in die Welt der neuesten KI-Modelle von Anthropic ein – Claude Opus 4 und Sonnet 4. Wie verändern diese Tools die Softwareentwicklung? Warum könnte autonomes Coding unsere Arbeitsweise revolutionieren? Und welche ethischen Fallstricke bergen hochalignierte KI-Systeme? Praxisnahe Einblicke, überraschende Whistleblower-Fälle und die brisante Debatte um KI-Sicherheit in einer Episode, die Entwickler:innen und Tech-Enthusiast:innen gleichermaßen fesselt. Support the show

Send us a text In dieser Episode von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der Reasoning-Modelle ein. Wie können wir KI effizienter und kostengünstiger trainieren, ohne Leistung einzubüßen? Mit dem Paper TINA (Tiny Reasoning Models via LoRA) zeigen sie, wie schon 9 Dollar und LoRA-Technologie kleine Modelle auf ein gutes Niveau heben. Ein Blick auf Open Science, KI-Agenten und die Zukunft des Schlussfolgerns – praxisnah entmystifiziert. Tina: Tiny Reasoning Models via LORA: https://arxiv.org/abs/2504.15777 Support the show

Send us a text In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der KI-Optimierung ein: Wie können Leerlaufzeiten genutzt werden, um Sprachmodelle effizienter zu machen? Mit einem Blick auf das Paper Sleep-Time-Compute der UC Berkeley diskutieren sie, wie Vorverarbeitung und Caching Latenzen reduzieren, Kosten sparen und sogar bessere Ergebnisse liefern. Sleep time Compute: https://arxiv.org/abs/2504.13171 Support the show

Send us a text In dieser Folge von Knowledge Science enthüllen Sigurd Schacht und Carsten Lanquillon, wie synthetisches Document Feintuning die „Überzeugungen“ von KI-Modellen verändert. Vom Löschen schädlichen Wissens bis zur Manipulation von Fakten diskutieren sie Chancen, technische Fallstricke und die brisante Frage: Darf man KI umerziehen, und wenn ja, wer kontrolliert es? Ein Must-Listen für alle, die verstehen wollen, wie flexibel – und fragil – moderne KI wirklich ist. Basis dieser Diskussion ist der spannende Blogbeitrag von: https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/ Bitte beachten Sie auch unseren KI generierten Podcast der Montag bis Freitag in 5 minuten neue KI Meldungen zusammenfasst: Spotify: https://open.spotify.com/show/539yw3KWHsf5oke4a2PBOZ Apple: https://podcasts.apple.com/de/podcast/knowledge-science-pulse/id1810890448 Support the show

Send us a text English Version - The German Version also exists, but the content differs minimally: AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day. It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created. Accordingly, we cannot always guarantee accuracy. PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111 Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424 Support the show

Send us a text KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt. Dementsprechend können wir nicht immer für die Richtigkeit garantieren. PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111 Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424 Support the show

Send us a text English Version - The German Version also exists, but the content differs minimally: AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day. It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created. Accordingly, we cannot always guarantee accuracy. Safety is Essential for Responsible Open-Ended Systems - https://arxiv.org/pdf/2502.04512 Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?- https://arxiv.org/pdf/2502.19361 Support the show

Send us a text KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt. Dementsprechend können wir nicht immer für die Richtigkeit garantieren. Safety is Essential for Responsible Open-Ended Systems - https://arxiv.org/pdf/2502.04512 Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?- https://arxiv.org/pdf/2502.19361 Support the show

Send us a text English Version - The German Version also exists, but the content differs minimally: AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day. It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created. Accordingly, we cannot always guarantee accuracy. Automatic Prompt Optimization via Heuristic Search: A Survey - https://arxiv.org/pdf/2502.18746 Support the show