Spotter

year: 2018 - in progress
materials/technique: robot-camera, screens, speakers/machine learning ANN GAN, machine vision
location: try-out May 2018, Machine Wilderness, Zone2Source, Amstelpark, Amsterdam

In this project the artists have created an artificial spotter trained in identifying birds. Inspired by its observations, the spotter subsequently starts to draw birds himself. In 2020, when the project will be developed further, it will be part of a group exhibition at the Artis Zoo in Amsterdam.
The bird-spotter's body is a robotic pan-tilt camera that is placed near a large window. The robot takes pictures of moving objects. A trained artifical neural network (ANN) analyses and classifies these pictures: if it is a bird, the image will be stored as an input image for the generation process. The GAN (generative adversarial network) is like a game played between an artist (generator) and a critic (discriminator). The artist learns to create images of birds, based on the feedback of the critic. Only the critic has access to the pictures taken by the bird-spotter. At the beginning, both artist and critic have no idea what a bird looks like. The critic learns to discover patterns in the photos, and the artist creates a initial random image. The critic gives detailed feedback on form, texture and colour features and informs the artist how to improve the image. The artist creates a next image according to this feedback in the hope to receive a better review. In the meanwhile the critic has discovered more patterns in the photos and includes this knowledge in his new feedback, and so on. During this iterative process the artist and the critic improve their skills, that leads to an ongoing stream of expressive bird-images. A similar approach was used to generate sound (not in real time yet), based on recordings of the typical song of the blackbird. The synthetic sounds could be heard outside the exhibition space to attract other birds which in turn are captured by the spotter.

The production of Spotter is made possible by the support of the Mondriaan Fund.

Spotter

jaar: 2018 - in ontwikkeling
materiaal/techniek: robot-camera, beeldschermen/machine learning ANN GAN, machine vision
locatie: try-out mei 2018, Machine wilderness, Zone2Source, Amstelpark, Amsterdam

Voor dit project creëerden de kunstenaars een kunstmatige spotter die is getraind in het herkennen van vogels. Geïnspireerd door zijn observaties gaat de spotter vervolgens zelf vogels tekenen. In 2020, als het project verder is doorontwikkeld, zal het worden getoond in een groepstentoonstelling in Artis Zoo in Amsterdam.
Het lichaam van de vogelspotter is een robotische pan-tilt camera die bij een groot raam wordt geplaatst. De robot neemt foto's van bewegende objecten. Een getraind artificiëel neuraal netwerk (ANN) analyseert en classificeert deze foto's: als het een vogel is dan wordt de foto opgeslagen als een input beeld voor het generatieve proces. Het GAN (generative adversarial network) is een soort spelletje gespeeld tussen een kunstenaar (generator) en een criticus (discriminator). De kunstenaar leert om beelden te maken van merels, gebaseerd op de feedback die hij krijgt van de criticus. Alleen de criticus heeft toegang tot de foto's die zijn gemaakt door de vogelspotter. In het begin van het spel, hebben zowel de kunstenaar als de criticus geen idee hoe een vogel er uit ziet. De criticus probeert bepaalde patronen in de foto's te ontdekken en de kunstenaar maakt een eerste willekeurige voorstelling. De criticus geeft gedetailleerde feedback over vorm-, textuur- en kleureigenschappen en informeert de kunstenaar hoe hij het beeld kan verbeteren. Op basis van deze kritiek maakt de kunstenaar een nieuw beeld, in de hoop om een betere recensie te krijgen. In de tussentijd heeft de criticus meer patronen leren herkennen in de foto's, en met deze kennis geeft hij opnieuw feedback, enz. Gedurende dit iteratieve proces verbeteren kunstenaar en criticus hun vaardigheden, wat leidt tot een voortdurende stroom aan vogelvoorstellingen. Een soortgelijke benadering is toegepast voor het genereren van geluid (nog niet in real time), gebaseerd op opnames van de karakteristieke zang van de merel. De synthetische geluiden waren buiten te horen om andere vogels te lokken die op hun beurt werden vastgelegd door de spotter.

De productie van Spotter wordt mede mogelijk gemaakt door ondersteuning van het Mondriaan Fonds.

driessens & verstappen movie installation spotter