Digitale Bilder mit KI, GAN und OpenAI GPT3 und DALL·E 2
Untersuchung und Beispiele Eingabedatum: 14.03.2020

Zu Beginn steht eine zufällige Verteilung der Pixel im Bild.
GAN (Generative Adversarial Networks)
Neuronale Netze können Berechnungen zu Bildern, Texten und Wörtern erstellen, aber solange man ihnen kein Ziel vorgibt, wissen sie nicht wie sie sich weiterentwickeln sollen. Um solch eine Entwicklung zu initiieren, lässt man zwei neuronale Netze zusammenarbeiten, einerseits einen Generator, der entwickelt und andererseits einen Diskriminator, der die Entwicklung des Generators anhand von Daten aus der Vergangenheit positiv oder negativ beurteilt.
So entstehen Häufungen und Muster z.B. von Pixeln, die der Diskriminator von den Ausgangsdaten nicht mehr unterscheiden kann.
In diesem Fall handelt es sich bei den Ausgangsdaten um Gesichter.

Der hier dargestellte Zyklus umfasst mehr als 1.000.000 Iterationen.
Während die oben gezeigten Bilder auf Grafikkarten in der Cloud berechnet wurden, kann der Grafikkartenhersteller nvidia aufgrund der anderen Resourcen auch Trainingsdaten zur Verfügung stellen, mit denen folgende Bilder generiert wurden.

Overfitted
OpenAI GPT-3
Eine weitere Stufe in der digitalen Bildwerdung wurde durch die Entwicklungen von OpenAI und dem GPT3 Modell, dass sowohl der Sprach- als auch Bildgenerierung dient, erklommen.
Auch hier kommt es zum Einsatz der Transformer. Die Transformer sind in der Lage anwendungsbezogen die Gewichtung der Gewichtungen individuell zu optimieren.
Das heißt, es werden auf der Metaebene signifikante Korrekturen/Eingrenzungen bei der Selektion vorgeschaltet.
Ein bekanntes Beispiel stellen die Avocado-Sessel dar. Hier wurde das DALL·E Modell durch eine Texteingabe angewiesen, einen Sessel in Avocadoform zu entwerfen, was das Modell dann auch in vielfältigen, attraktiven Versionen vollzog.
"DALL·E is a neural network that can generate images from the wildest text and image descriptions.
CLIP uses a new method of training for image classification, meant to be more accurate, efficient, and flexible across a range of image types."
Wir nutzten für die folgenden kurzen Videos das Clip Modell (ClipBigGan, ein jupyter-notebook). Es handelt sich bei den Videos um erste, experimentelle Studien und Versuche.
Textvorgabe: a banana attached by tape in the white cube
Textvorgabe: fine art installation in a white cube
Während bei der KI gestützten Textgenerierung der Nebensatz eindeutig dem Absatz, aufgrund der Shorttherm und Longtherm Funktion, zugeordnet werden kann, verhält es sich im künstlich generierten Bildraum differenzierter. Hier entstehen scheinbare Fehlleistungen, die dem menschlichen Denken fremd erscheinen.

Zu sehen ist die zweite Version einer Interpretation der Signatur von Marcel Duchamp. Während bei der ersten Interpretation der VGG19 Algorithmus, der Auffälligkeiten neu assoziierte, zum Tragen kam, wird hier mit dem Gpt-3 Modell von OpenAI auf der Basis einer Texteingabe Wissen abgefragt.
Update: OpenAI DallE2
Zu Art und Umfang der im Sommer 2022 benutzten Modelle erklärt ein Sprecher vom Midjourney:
"Bei den derzeitigen Daten handelt es sich um grobe Auszüge aus dem Internet. Die Wissenschaft ist neu, aber um Ihnen eine Vorstellung zu geben, lernt das Modell aus 250 TB, merkt sich aber nur 2 GB ( das entspricht einer 125.000-fachen Reduzierung der Daten). Das heißt, es lernt hauptsächlich auf hoher Abstraktionsebene und allgemeinen Gemeinsamkeiten."
Im Dezember 2021 veröffentlichte OpenAI mit GLIDE (Guided Language to Image Diffusion for Generation and Editing) ein textgeführtes Diffusionsmodell, welches auch die Grundlage für Dall E 2 bildet.
Bei der Diffusion wird ein hochaufgelöstes Bild in Gaußsches Rauschen umgewandelt. Das Ziel des Trainings eines Diffusionsmodells besteht darin, den umgekehrten Prozess zu erlernen, d.h. aus einem Rauschen ein Bild zu erzeugen. Indem man sich entlang dieser Kette rückwärts bewegt, können so neue Daten erzeugt werden.
Banana attached by tape at the wall in a white cube
Readymade by Marcel Duchamp in a white cube
concept context identity by Marcel Duchamp in a white cube
Readymade by Marcel Duchamp in a white cube
Modern Style Readymade by Marcel Duchamp
work of art by Marcel Duchamp in the 21st century
work of art in a white cube, Midjourney
work of art in a white cube II, Midjourney
Kataloge/Medien zum Thema:
Digitales
"Video. Die 80er Jahre" - K21, Düsseldorf (25.03. - 21.05.06)GiebichenStein Designpreis 2012 für ausgezeichnete Designprojekte in fünf Kategorien vergebenBling, Bling! MindFrames: Media Study at Buffalo 1973 - 1990 im ZKM, Karlsruhe ( noch bis 18.3.07)Bibliotheca Insomnia. Das digitale Bauhaus II (27.8. - 17.9.06)Carlos Amorales, Navid Nuur, San Keller - Kunsthalle Fridericianum, KasselSpezial: Wunderkammer - Zeitgenössisches Kuriositätenkabinett, BrüsselFUTUR PERFEKT. Vollendete ZukunftArs ElectronicaChat Jet (Part 2) Skulptur in ReflexionThomas RuffREAL HUMANSDie 80er. Figurative Malerei in der BRDInternationaler Faber-Castell Preis für ZeichnungLetzte Runde des Jubiläumsprogramms der BURGDIPLOM15Digital ArchivesNikolaus Geyer. Weder Freund noch FeindMehr als nur Worte [Über das Poetische]BiotopiaHybrid Layers Der Begriff - digital - in Texten zur zeitgenössischen KunstDaniel Birnbaum verlässt Moderna Museet in StockholmPERSPECTIVAS LATINAS Der Begriff - Readymade - in Texten zur zeitgenössischen KunstMarta Herford erfolgreich beim Fonds Digital der BundeskulturstiftungMœbius 360° als digitales AngebotBiennale für aktuelle Fotografie 2020 erweitert ihr digitales VermittlungsangebotGlasgow International - FestivalKunstsammlung Nordrhein-Westfalen ist ab 5.5.2020 wieder geöffnetMuseen digital entdecken! Am 17. Mai 2020 ist Internationaler MuseumstagDas Museum der Zukunft ist kein Museum mehrFolkwang RUNDGANG 2020 im TV-FormatKünstlerpublikationen: analog – digital!Kultur. Gemeinsam. Leben.Schloss Solitude mit drei neuen digitalen FormatenNeuer Museumspodcast des Hessischen Landesmuseums DarmstadtBeyond the PainDigitale „Kunstsprechstunde“ in der Galerie der Stadt BacknangDokumentarfilm: Exploring Art at the European Patent OfficeLanguage for SaleDeutsche Barockgalerie goes Online - Kunstsammlungen und Museen, Augsburg Das kleine d in Texten zur zeitgenössischen KunstPatrick Fabian Panetta. If You Know, You Know.Meret Oppenheim. Mon exposition - Kunstmuseum Bern (22.10.2021 - 13.02.2022)documenta fifteen Kassel Künstler*liste und Informationenfacets, faces - Das Jahrgangsprojekt von Curatorial StudiesTag der offenen Türe – DIGITALDigitaler Tag der offenen TürHouse of Mirrors – Künstliche Intelligenz als Phantasmaars viva 2022. Tamina Amadyar, Lewis Hammond, Mooni Perrytop