year: 2018 - 2022
material/technique: robot-camera, screens, audio & HD video/Machine Vision, Machine Learning, Object Detection, GAN
artists-in-residence: Machine Wilderness, ARTIS Zoo, Amsterdam
organisation: Zone2Source/FoAM/ARTIS
online info: website Machine Wilderness

For the Machine Wilderness artist-in-residence at ARTIS Zoo, the artists created an autonomous spotter camera that recognizes, follows and records a specific animal. Inspired by his observations Spotter tries to make himself a representation of the animal. This learning process starts with noise but gradually we see dreamy representations of the animal emerge. This AI project adds a contemporary approach to ARTIS's long tradition of artists observing and portraying animals: Natura Artis Magistra (Nature is the teacher of the arts). The artists have set up Spotter at various animal enclosures: meerkat, trumpeter swan, tern & ibis, ibex, mandrill, giraffe, zebra, weaverbird. The HD animations of the respective learning processes have a duration of about 90 minutes each.

A pan-tilt camera is equipped with real-time object detection software (YOLO). The robot looks around and when it detects the animal, the camera zooms in to take close-up pictures. During the day, it collects thousands of images that serve as input for the generation process. The GAN (Generative Adversarial Network) is like a game played between an artist (generator) and a critic (discriminator). The artist learns to create images of the animals, based on the feedback from the critic. Only the critic has access to the pictures. At first, both the artist and the critic have no idea what the animal looks like. The critic learns to detect patterns in the pictures, and the artist creates a first random image. The critic provides detailed feedback on shape, texture, and color characteristics and informs the artist how to improve the image. The artist creates a subsequent image based on this feedback in hopes of getting a better rating. Meanwhile, the critic has discovered more patterns in the pictures and incorporates this knowledge into his new feedback, and so on. This iterative process leads to a continuous stream of pictures, that have been captured frame by frame in long animations. A similar approach was used to generate sound, based on recordings of the typical sounds of the animal.

jaar: 2018 - 2022
materiaal/techniek: robot-camera, schermen, audio & HD video/Machine Vision, Machine Learning, Object Detectie, GAN
artist-in-residence: Machine Wilderness, ARTIS Zoo, Amsterdam
organisatie: Zone2Source/FoAM/ARTIS
online info: website Machine Wilderness

Voor de Machine Wilderness artist-in-residence bij ARTIS creëerden de kunstenaars een autonome spotter camera die een specifiek dier herkent, volgt en registreert. Geïnspireerd door zijn observaties probeert Spotter zichzelf een voorstelling te maken van het dier. Dit leerproces begint met ruis maar gaandeweg zien we dromerige voorstellingen van het dier opdoemen. Dit AI-project voegt een hedendaagse benadering toe aan ARTIS' lange traditie van kunstenaars die dieren observeren en portretteren: Natura Artis Magistra (de natuur is de leermeesteres van de kunst). De kunstenaars hebben Spotter bij diverse dierenverblijven opgesteld: stokstaartje, trompetzwaan, stern & ibis, steenbok, mandril, giraffe, zebra, wevervogel. De HD animaties van de respectievelijke leerprocessen duren ieder ongeveer 90 minuten.

Een gerobotiseerde pan-tilt camera is uitgerust met real-time object detectie software (YOLO). De robot kijkt rond en wanneer hij het dier detecteert, zoomt de camera in om close-up foto's te maken. Gedurende de dag verzamelt hij duizenden beelden die als input dienen voor het generatieproces. Het GAN (Generative Adversarial Network) is als een spel dat gespeeld wordt tussen een kunstenaar (generator) en een criticus (discriminator). De kunstenaar leert om afbeeldingen van de dieren te maken, op basis van de feedback van de criticus. Alleen de criticus heeft toegang tot de foto's. In het begin hebben zowel de kunstenaar als de criticus geen idee hoe het dier eruit ziet. De criticus leert patronen in de foto's te ontdekken, en de kunstenaar maakt een eerste willekeurig beeld. De criticus geeft gedetailleerde feedback over vorm, textuur en kleurkenmerken en informeert de kunstenaar hoe hij het beeld kan verbeteren. De kunstenaar maakt een volgend beeld op basis van deze feedback in de hoop op een betere beoordeling. Ondertussen heeft de criticus meer patronen in de foto's ontdekt en verwerkt deze kennis in zijn nieuwe feedback, enzovoort. Dit iteratieve proces leidt tot een continue stroom aan plaatjes, die beeldje voor beeldje werden vastgelegd in lange animaties. Een soortgelijke aanpak werd gebruikt om geluid te genereren, gebaseerd op opnamen van de typische geluiden van het dier.