Talkie: 13B Sprachmodell trainiert ausschließlich auf historischen Texten vor 1931
Forscher um Alec Radford haben 'talkie' veröffentlicht - ein 13B-Parameter Sprachmodell, das ausschließlich auf historischen englischen Texten vor 1931 trainiert wurde. Das Modell soll erforschen, wie gut KI die Zukunft vorhersagen kann und ob sie Erfindungen jenseits ihres Wissenshorizonts entwickeln könnte.
Einordnung
Dieses Projekt ist besonders relevant für die KI-Forschung, da es völlig neue Forschungsansätze ermöglicht: Können Modelle mit historischem Wissen die Zukunft vorhersagen oder sogar Erfindungen wie die Relativitätstheorie eigenständig entwickeln? Die Verwendung ausschließlich urheberrechtsfreier Daten vor 1931 macht es auch zu einem interessanten 'veganen' KI-Modell. Die Apache 2.0-Lizenz und die mögliche Veröffentlichung der Trainingsdaten könnten neue Standards für ethische KI-Entwicklung setzen. Allerdings zeigt das Projekt auch die Herausforderungen auf: Selbst bei historischen Daten war moderne KI-Unterstützung beim Fine-Tuning nötig, was die 'Reinheit' des Ansatzes kompromittiert.