Michael Rifkin

Es ist immer wieder faszinierend, wie schnell sich die Technologie entwickelt. Vor nicht allzu langer Zeit waren lokal laufende Sprachmodelle, die sogenannten LLMs (Large Language Models), kaum konkurrenzfähig mit ihren cloud-basierten Gegenstücken. Doch die Zeiten ändern sich. Worum geht’s hier eigentlich? Wir schauen uns heute an, wie gut lokale LLMs tatsächlich sind. Während die Großen der Branche meist auf Cloud-Infrastruktur zurückgreifen, hat die lokal betriebene Konkurrenz enorm aufgeholt. Was bedeutet das für den Alltag? Und wo liegen die Grenzen? Der Kern LLMs sind Sprachmodelle, die mithilfe von künstlicher Intelligenz Texte generieren. Bisher war es so, dass ihre Leistung stark von der zur Verfügung stehenden Hardware abhing. Und Cloud-Lösungen wie ChatGPT…

Seit neuestem erlebe ich es immer wieder: Lokale KI-Modelle überraschen mich durch ihre Leistung. Manchmal liefern sie sogar bessere Ergebnisse als ihre großen, kommerziellen Pendants wie ChatGPT von OpenAI. Und das alles passiert direkt auf meinem Rechner. Klar, die kommerziellen Modelle haben immer noch ihre Vorteile, aber es ist beeindruckend zu sehen, wie weit die lokale Technologie schon gekommen ist. Doch die häufigste Frage, die ich bekomme, ist: Was brauche ich eigentlich für einen Rechner, um lokale KI-Modelle effizient laufen zu lassen? Der ideale Rechner für lokale KI-Modelle Für die Nutzung lokaler KI-Modelle gibt es viele Möglichkeiten und einige Missverständnisse. Wenn wir über sogenannte „Open-Weights-Modelle“ sprechen, meinen wir eigentlich, dass…

Die simplen Voice Agents, die mittlerweile überall auftauchen, überraschen immer wieder. Ein Beispiel, wo Technik wirklich greifbar wird. Was macht Voice Agents spannend? Sie werden zum festen Bestandteil. Einfache Anwendungen wie KI-Anrufbeantworter zeigen, wie schnell solche Technologien zur Norm werden könnten. Der Clou: Softwares sind heute wie Standardwaren. Jeder hat sie, jeder nutzt sie. Was bedeutet das für Firmen? Was steckt dahinter? Voice Agents zielen darauf, nicht nur nützlich zu sein, sondern sich als starke Marke zu positionieren. Ihre Technik muss verständlich und zuverlässig sein. Darum geht es: Wettbewerbsvorteil durch Markenstärke und bestmöglichen Service. Ein wesentlicher Punkt: Warum ist die Technik so wichtig? Wenn Software zur Commodity wird, müssen Firmen…

Stell dir vor, dein Computer würde das Licht anlassen, um dir Vorschläge zu machen. Genau das passiert, wenn KI-Modelle Rechenzentren auf Trab halten – mit einer Energiebilanz, die sich gewaschen hat. Wo liegt das Problem? Die Entwicklung moderner KI-Modelle frisst Unmengen an Energie. Beispielsweise benötigt ChatGPT täglich bis zu 0,6 Gigawatt Strom. Zum Vergleich: Alle Rechenzentren in den USA könnten bald knapp 4,4% des landesweiten Stromverbrauchs beanspruchen. Das bringt steigende Kosten mit sich, die zur harten Nuss für die KI-Entwicklung werden könnten. Photonische Chips: Ein Lichtblick? Photonische Chips kommen hier ins Spiel. Diese Chips nutzen Lichtwellen statt Elektronen, um Berechnungen durchzuführen. Dadurch könnten bestimmte Operationen in neuronalen Netzwerken bis zu…

Wie oft haben wir den Albtraum, dass sensible Daten in die falschen Hände geraten? Datenschutz ist gerade im Unternehmenskontext ein großes Thema. Worum geht’s hier eigentlich? Es geht um lokale Large Language Models (LMs), die sicher auf eigener Infrastruktur betrieben werden. Kein Datentransfer zu externen Clouds. Lokale vs. Corporate LMs: Was steckt dahinter? Lokale LMs sind Text-Modelle wie GPT, die selbstständig laufen – ohne dass Daten an eine fremde Cloud geschickt werden. Ein klarer Pluspunkt in puncto Datenschutz. Diese LMs können direkt im Büro betrieben werden oder auf gemieteten Servern, was viele Unternehmen flexibler macht. Heißt: Sicherheit ohne auf eigene Serverhardware angewiesen zu sein. Corporate LMs sind eine Erweiterung: Speziell…