Big Data are increasingly used in machine learning in order to create predictive models. How are predictive practices that use such models to be situated? In the field of surveillance studies many of its practitioners assert that “governance by discipline” has given way to “governance by risk”. The individual is dissolved into his/her constituent data and no longer addressed. I argue that, on the contrary, in most of the contexts where predictive modelling is used, it constitutes Foucauldian discipline. Compliance to (...) a norm occupies centre stage; suspected deviants are subjected to close attention—as the precursor of possible sanctions. The predictive modelling involved uses personal data from both the focal institution and elsewhere. As a result, the individual re-emerges as the focus of scrutiny. Subsequently, small excursions into Foucauldian texts discuss his discourses on the creation of the “delinquent”, and on the governmental approach to smallpox epidemics. It is shown that his insights only mildly resemble prediction as based on machine learning; several conceptual steps had to be taken for modern machine learning to evolve. Finally, the options available to those subjected to predictive disciplining are discussed: to what extent can they comply, question, or resist? Through a discussion of the concepts of transparency and “gaming the system” I conclude that our predicament is gloomy, in a Kafkaesque fashion. (shrink)

This paper examines how professionals (N = 32) working on artificial intelligence (AI) view structural AI ethics challenges like injustices and inequalities beyond individual agents' direct intention and control. This paper answers the research question: What are professionals’ perceptions of the structural challenges of AI (in the agri-food sector)? This empirical paper shows that it is essential to broaden the scope of ethics of AI beyond micro- and meso-levels. While ethics guidelines and AI ethics often focus on the responsibility of (...) designers and the competencies and skills of designers to take this responsibility, our results show that many structural challenges are beyond their reach. This result means that while ethics guidelines and AI ethics frameworks are helpful, there is a risk that they overlook more complicated, nuanced, and intersected structural challenges. In addition, it highlights the need to include diverse stakeholders, such as quadruple helix (QH) participants, in discussions around AI ethics rather than solely focusing on the obligations of AI developers and companies. Overall, this paper demonstrates that addressing structural challenges in AI is challenging and requires an approach that considers four requirements: (1) multi-level, (2) multi-faceted, (3) interdisciplinary, and (4) polycentric governance. (shrink)

Im Beitrag wird die Apple-Watch vor dem Hintergrund ihrer „Ästhetik der Existenz“ als biopolitisches Artefakt und kontrollgesellschaftliches Dispositiv, vor allem aber als kybernetische Black Box aufgefasst und analysiert. Ziel des Aufsatzes ist es, aufzuzeigen, dass sich in dem feedbacklogischen Rückkopplungsapparat nicht nur grundlegende Diskurse des digitalen Zeitalters (Prävention, Gesundheit, bio- und psychopolitische Regulierungsformen etc.) verdichten, sondern dass dieser schon ob seiner inhärenten Logik qua Opazität Transparenz, qua Komplexität Simplizität (d.h. Orientierung) generiert und damit nicht zuletzt ein ganz spezifisches Menschenbild forciert. (...) In methodischer Hinsicht sollen zur Aufschlüsselung der für die digitale Gesellschaft repräsentativen Black Box „Apple-Watch“ wirksame Begriffskonstellationen der Kybernetik – d.h. Feedback, Regulierung, Selbstkontrolle und nicht zuletzt das Prinzip des „schwarzen Kastens“ selbst (Wiener/ Ashby), in dem sich schon die Funktion des Apparats als (Selbst-)Regulierungstool zwischen In- und Outputs reflektiert – in den Blick genommen und mit behavioristischen Konzepten (besonders solche der Gegenwart, d.h. nudging-Konzepte etc.) kontextualisiert werden. Auf dieser Grundlage lässt sich schließlich, so die These, nicht nur ein Subjektivierungsmodell ableiten, sondern auch eine (durchaus realpolitisch wirksame) Regierungskunst („kybernetische Gouvernementalität“) dekodieren. In diesem Zusammenhang ist schließlich die These zu plausibilisieren, dass das zeitgenössische „Sicherheitsregime“ des ‚new dark age‘ (Bridle) respektive der ‚Black-Box-Society‘ (Pasquale) sich nicht auf „die Unterdrückung von Subjektivität [bezieht], sondern vor allem auf ihre ‚(Selbst)-Produktion‘, […] auf die […] Förderung von Selbsttechnologien, die an Regierungsziele gekoppelt werden können.“ (Lemke) Entsprechend fragt der Aufsatz, welche – auch politischen – Auswirkungen die exzessive Verbreitung dieser und ähnlicher „smart devices“ zeitigt: Denn nicht zuletzt lässt sich, mediiert über derartige datengenerierende schwarze Kästen, eine Form der Regierung und des Regierbar-Machens erkennen, die weniger explizit-imperativisch auf Subjekte als vielmehr implizit-suggestiv auf Datenpunkte und -profile einwirkt. (shrink)