Künstliche Intelligenz in der Medizin? Intersektionale queerfeministische Kritik und Orientierung
Renate Baumgartner, Waltraud Ernst
GENDER – Zeitschrift für Geschlecht, Kultur und Gesellschaft, Heft 1-2023, S. 11-25.
Zusammenfassung
Algorithmen werden als zentrale Akteure der digitalen Transformation gehandelt. Künstliche Intelligenz (KI) wird als Lösung für dringende aktuelle und zukünftige Probleme in der Medizin gerahmt. Der Beitrag geht der Frage nach, wie – oft unbewusst – faktisch diskriminierende Werte sozialer Ordnung in Algorithmen eingeschrieben werden und der weithin beklagte Gender Bias sowie rassistische Diskriminierung fortgeschrieben oder sogar verstärkt wird. Es wird erörtert, wie eine mit KI verbundene Automatisierung von Diskriminierung Ansprüche an ein gleichberechtigtes Zusammenleben vielfältiger und widersprüchlicher menschlicher Existenz erneut breit diskutierbar macht. Im Beitrag werden diese Fragen anhand des Einsatzes von KI bei der Hautkrebs- und der Brustkrebsdiagnose erörtert. Diese werden mit theoretischen und methodischen Zugängen aus der Genderforschung, die sozialen Konstruktivismus, Poststrukturalismus und New Materialism mit Ansätzen der Intersektionalitätsforschung und der Queer Theory verbinden, konfrontiert.
Schlüsselwörter
Intersektionalität, Gesundheitsversorgung, Digitalisierung, Algorithmen, Hautkrebs, Brustkrebs
Artificial intelligence in medicine? Intersectional queer feminist critique and orientation
Summary
Algorithms are considered to be central actors in the digital transformation. Artificial intelligence (AI) is framed as a solution to urgent current and future problems in medicine. The article explores the question of how – often unconsciously – the factually discriminatory values inherent in social orders are encoded in algorithms and how both gender bias and racial discrimination are perpetuated or even reinforced. The article discusses how the automation of discrimination that is associated with AI reopens the debate about the multifaceted and contradictory human co-existence on the basis of equality. These questions are discussed based on two examples – the use of AI in skin cancer and in breast cancer diagnosis. These are put into conversation with theoretical and methodological approaches from gender studies that combine social constructivism, poststructuralism and new materialism with approaches from intersectionality research and queer theory.
Keywords
intersectionality, healthcare, digitalization, algorithms, skin cancer, breast cancer
Algorithmen werden als zentrale, maschinelle Akteure der digitalen Transformation gehandelt. Sie werden einerseits für eine Menschen nicht mögliche Neutralität und Objektivität gepriesen. Andererseits aber werden sie auch als potente Instrumente einer gesellschaftlichen Ordnung verurteilt, die aufgrund von Sexismus, Rassismus und Klassismus viele Menschen diskriminiert (Benjamin 2019; Noble 2018; O’Neil 2017). Dieser Beitrag argumentiert, dass die Genderforschung mit der Analyse intersektionaler Prozesse der Privilegierung und Diskriminierung hier Orientierung bietet. Können Algorithmen auch genutzt werden, um Ungerechtigkeit ans Licht zu bringen?
Der Beitrag zeigt, wie – oft unbewusst – faktisch diskriminierende Werte sozialer Ordnung in Algorithmen eingeschrieben werden und der weithin beklagte Gender Bias sowie rassistische Diskriminierung fortgeschrieben oder sogar verstärkt werden. Es wird erörtert, wie eine solche Automatisierung von Diskriminierung Empörung erzeugt und damit offensichtlich Ansprüche an ein gleichberechtigtes Zusammenleben im Sinne der Gleichwertigkeit aller Menschen erneut breit diskutierbar macht (Allhutter et al. 2020). Im Beitrag wird anhand von zwei Beispielen aus der Medizintechnik (Einsatz von KI bei der Hautkrebsdiagnose und der Brustkrebsdiagnose) gezeigt, wie der Einsatz von KI – entgegen der großen Versprechungen – bisher eher zu einer Verstärkung von Diskriminierung beiträgt. Es wird gezeigt, wie die Orientierung an den theoretischen und methodischen Ansätzen der Gender Studies Hinweise gibt, dieses soziotechnische Problem zu überwinden.
1 Methodische Grundlagen
Geschlecht wird in der aktuellen Genderforschung als ambivalentes, historisch vielfältiges sowie vielfältig mit anderen Kategorisierungen verknüpftes und widersprüchliches Phänomen des Werdens erforscht (Ernst 2021). Eine Ausrichtung an antirassistischer, queerfeministischer Geschlechterforschung unter Berücksichtigung von Intersektionalität wird mehr und mehr zum methodischen Standard der Gender Studies. Dabei wird Vergeschlechtlichung als Prozess betrachtet, in dem Geschlecht erst im sozio-kulturellen Zusammenhang hergestellt und ausgedrückt wird. Geschlecht wird als „doing gender“ und „doing difference“ (Fenstermaker/West 2001) verstanden. Es bezeichnet nicht bestimmte bzw. bestimmbare Eigenschaften, sondern vielmehr eine performative Auseinandersetzung mit vergangenen, gegenwärtigen und vorgestellten zukünftigen Geschlechterordnungen (Butler 2004). Diese Ansätze ermöglichen das Überwinden eines statisch gedachten binären oder dichotomen Geschlechterbegriffs. Von der prozesshaften Dimension der Vergeschlechtlichung sind Körper nicht ausgeschlossen. Sie werden als Teil einer sozialen, psychischen, intellektuellen und materiellen Auseinandersetzung im unablässigen Gelebtwerden, Geordnetwerden und Regiertwerden erforscht. Auf der Grundlage der Unbestimmtheit von Materie, Zeit und Energie wird auf eine prinzipielle Unbestimmtheit von Identität geschlossen (Barad 2015). Diese begründet eine immerwährende Erneuerbarkeit der Vorstellungsräume und Erfahrung von Geschlecht. Die Veränderbarkeit, Verbundenheit und Spezifität jeder Geschlechtererfahrung kann so normal und natürlich werden, gerade weil Normalität und Natürlichkeit als Zuschreibungsprozesse entlarvt werden (Ernst 2021).
Mit dem Begriff „Intersektionalität“ (Crenshaw 1989) wird Geschlechterdiskriminierung kontextualisiert und tradierte Kategorisierungen des Normalen dekolonisiert. Für diese Auseinandersetzung ist zu beachten, dass „intersectionality is a knowledge project of resistance that aims to bring about change“ (Collins 2019: 289). Wurde Intersektionalität bisher oft missverständlich als additives Set von individuellen, fixierbaren, diskriminierten Merkmalen dargelegt, so ist inzwischen klar, dass Prozesse von Merkmalszuschreibungen in gesellschaftliche Herrschaftsprozesse methodisch relevant gemacht werden müssen: „Ohne den Bezug zu den Herrschaftsverhältnissen und ihren Strukturkategorien, in deren Zusammenhang sie stehen, können die individuellen Erfahrungen lediglich als subjektive Befindlichkeiten und partikulare handicaps erfasst werden“ (Klinger 2013: 59; Hervorh. im Original). Methodisch präzisierend wird betont:
„Prozesse der Feminisierung oder Maskulinisierung sind demnach einerseits in Zusammenhang mit historischen Ereignissen wie denen des Kolonialismus, Imperialismus und des modernen/kolonialen Weltsystems in Beziehung zu setzen und andererseits mit gesellschaftlichen Verhältnissen und institutionalisierten kulturellen Praktiken, in denen hegemoniale Verständnisse in den Alltagsverstand übertragen und von den Subjekten performativ angeeignet und verkörpert werden.“ (Gutiérrez Rodríguez 2011: 89)
Dieses Analysieren vielfältig verwobener Privilegierungs- und Diskriminierungsprozesse zielt auf die strukturelle Überwindung von Diskriminierung. Genderforschung verbindet so sozialen Konstruktivismus, Poststrukturalismus und New Materialism mit Ansätzen der Intersektionalitätsforschung und der Queer Theory. Diese theoretische und methodische Orientierung dient im Folgenden der Analyse des Einsatzes von Algorithmen in der Medizin.
Auf diese Weise kann vielfältige geschlechtliche Existenz in ihrer wandelbaren Verflochtenheit und Uneindeutigkeit für die KI-Forschung geltend gemacht werden. Mit diesem Ansatz können Prozesse der Diskriminierung durch KI entschärft werden. Antirassistische, queerfeministische KI-Forschung kann so angestoßen werden, um Barrieren in und durch KI-Produkte zu identifizieren und wegzuräumen.
Grundlagen und Funktionsweise von KI scheinen diesem Unternehmen bisher entgegenzustehen. KI basiert meist auf sog. maschinellem Lernen (ML), dem Management großer Datenmengen („Big Data“) sowie der Automatisierung von Testmethoden (Prietl 2019). Isolierung, Quantifizierung und Mechanisierung stellen die basalen methodischen Schritte dar. Daten werden maschinell, automatisiert ausgewertet, in Verknüpfung mit Methoden der Mustererkennung, der Statistik, der Wahrscheinlichkeitsrechnung sowie einer konditionalen Zukunftsidee. Daher muss analysiert werden, welche Daten überhaupt verfügbar sind, welche Prozesse zuerst isoliert werden müssen, um gezählt werden zu können, und welche Daten relevant erscheinen. Ebenso muss untersucht werden, wer die Muster und Mechanismen vorgibt, nach denen ausgewertet wird, und wie Kriterien bestimmt werden, nach denen sortiert, bewertet, eingeteilt wird (Benjamin 2019). Dabei werden Probleme offensichtlich: Korrelationen gerinnen zu vermeintlichen Kausalitäten (Noble 2018); widersprüchliches menschliches Sein und Werden wird zu linearen Vorausberechnungen (Allhutter et al. 2020); veränderliche Unterscheidungen gerinnen zu statischen Differenzen (O’Neil 2017).
Mit dem oben eingeführten Analyseansatz der Gender Studies, so unser Argument, lässt sich Diskriminierung intersektional präzise aufdecken und die Vermeidung einer Automatisierung von Diskriminierung wissenschaftlich begründen: Es muss bei jedem Datensatz untersucht werden, ob Daten von allen Menschen als gleich wichtig erachtet werden. In der KI-Forschung müssen daher Methoden entwickelt werden, mit denen die lernenden Maschinen von der Vielfalt und Ambivalenz geschlechtlicher Körper und geschlechtlicher bzw. sexueller Lebensweisen unterrichtet werden. Benjamin (2019) macht deutlich, dass Funktionsweise und Einsatz von Algorithmen bislang an einem Modell hegemonialer Männlichkeit orientiert sind. Das heißt, diejenigen, die ohnehin über die meisten Privilegien verfügen, werden erneut privilegiert, während die Diskriminierung jener Personen, die bis heute diskriminiert werden, mit der Automatisierung verschärft und verdeckt wird. Es ist daher notwendig zu untersuchen, was oder wer als Standard, als Norm und Normalität den Rechenautomaten vermittelt wird. Auf die Medizin bezogen ist zu untersuchen, was es den betroffenen Personen nützt, wenn ihr Erkrankungsrisiko von statistischen Mittelwert-Rechnungen abgeleitet wird. Es ist zu fragen, wie sich das Vorantreiben einer radikalen Quantifizierung gesundheitlicher Phänomene und deren Verknüpfung mit automatisierten Prognosen auf die staatliche Verantwortung für gesundheitliche Versorgung auswirkt (Klinger 2022).
2 Medizin
Digitalisierung ist schon seit den Expertensystemen in den 1980er-Jahren Thema in der Medizin. Spätestens seit dem Trend der personalisierten Medizin spinnen sich verstärkt Netzwerke mit Informatiker*innen und Bioinformatiker*innen, welche für medizinische Anwendungen, basierend auf neueren Techniken der KI wie ML und Deep Learning (DL), genutzt werden können. Seitdem tauchen auch in der Medizin Anwendungen auf, in denen diskriminierendes Vorgehen belegt werden konnte. Negative Konsequenzen des Racial Bias und Gender Data Gap werden auch für die Gesundheit diskutiert (Criado Perez 2020; Sjoding et al. 2020).
KI wird als Lösung für dringende aktuelle und zukünftige Probleme in der Medizin verhandelt. Dazu gehören scheinbar unlösbare Fragen in der Therapierung von Krankheiten, Alterung der Gesellschaft, Mangel an medizinischem Personal und insgesamt steigende Gesundheits- und Forschungsausgaben, die bisher nicht zu einer besseren allgemeinen Gesundheit führen, sowie gesundheitliche Ungleichheit (Baumgartner 2021a).
Kritische Stimmen äußern eine Vielzahl an Bedenken gegen den breiten Einsatz von KI für Zwecke der Therapiefindung, Diagnose, Prognose etc. (acatech/Körber Stiftung/ZIRIUS 2021; Baumgartner 2021a; Figueroa et al. 2021; Schneider 2021). Der Technikradar 2021 (acatech/Körber Stiftung/ZIRIUS 2021) analysiert, welche Aspekte der Gesundheitsversorgung, z. B. das Arzt-Patienten-Verhältnis, sich durch die digitale Transformation wie verändern könnten, und sieht u. a. die digitale Gesundheitskompetenz aller als hochrelevant für eine positive Entwicklung. Figueroa et al. (2021) besprechen, wie wichtig ein intersektional feministischer Blick ist, damit digitale Gesundheit nicht Frauen* benachteiligt. Wenn eine Technik so stark auf Daten basiert, die innerhalb einer gesellschaftlichen Ordnung, die viele diskriminiert und einige wenige privilegiert, produziert wird und die zugehörige Technik von Personen innerhalb dieser sozialen Ordnung entwickelt und validiert wird, ist es unumgänglich, dass sich faktisch diskriminierende und stereotypisierende Werte dieser sozialen Ordnung in Daten und Technik wiederfinden. Wie kann also genau diese Technik am Ende zu gleichberechtigten Ergebnissen führen und fairer sein als das vermeintlich subjektiv entscheidende Gesundheitspersonal? Der Eingang von Stereotypen, Diskriminierung und Ungleichheiten kann auch durch die KI geschehen, die ebenfalls von Menschen mit unterschiedlichen Agenden entwickelt wurden. Dies kann zu Ergebnissen führen, die ähnlich diskriminierend sind wie die derzeitigen auf Menschen gestützten Praktiken, mit dem zusätzlichen Nachteil, dass die Arbeitsweise von KI wenn überhaupt nur für Expert*innen durchdringbar ist. Dazu kommen Herausforderungen, die Technik generell mit sich bringt. Es ist aufwendig, in Technik geronnene Werte und Normen zu analysieren. Digitale Technik kann sehr überzeugend wirken und ein übermäßiges Vertrauen in datenbasierte Technik wird auch vom Gesundheitspersonal befürchtet (boyd/Crawford 2012; Cabitza/Rasoini/Gensini 2017).
KI innerhalb der Medizin wird jedoch auch die Möglichkeit zugeschrieben, Diskriminierung aufzudecken und zu minimieren. Vor allem statistikbasierten Systemen wie ML wird das Potenzial zugeschrieben, gesundheitliche Ungleichheiten aufdecken zu können und so zu einer gleichberechtigten Gesundheit zu führen (Topol 2019). Dieses Aufdecken gesundheitlicher Ungleichheiten wird in manchen Ethik-nahen Diskursen als ernstzunehmender Vorteil des KI-Einsatzes mit dem geringsten Risiko bewertet (Wachter/Mittelstadt/Russell 2020).
Zurzeit gibt es viele kritische Stimmen, die zwar allgemein auf Herausforderungen, Probleme und Risiken hinweisen, jedoch wenige Studien, die sich mit konkreten Fallbeispielen befassen. Diese sind jedoch von großer Bedeutung, da genau der Einzelfall erst eine Bewertung von Effekten und Risiken möglich macht. Obermeyer et al. (2019) fanden heraus, dass die Verwendung eines falschen Proxys für den Gesundheitszustand zu rassistischer Diskriminierung führen kann. Sie zeigen, wie niedrigere Gesundheitsausgaben für Persons of Color (PoC) in den USA fälschlicherweise darauf zurückgeführt wurden, dass sie gesünder seien, und nicht darauf, dass PoC weniger Leistungen von Gesundheitseinrichtungen erhalten. Studien zeigen, dass auch KI-basierte Anwendungen zur Messung des Blutsauerstoffs oder zur Hautkrebserkennung einen Racial Bias aufweisen (Sjoding et al. 2020; Wen et al. 2022). Criado-Perez (2020) und Cirillo et al. (2020) benennen Gesundheitsrisiken durch fehlende Daten über Frauen (z. B. den Gender Data Gap), welche mit erstarkender digitaler Medizin relevanter werden. Der Fokus auf Daten und Datenlücken ergibt sich daraus, dass in den gängigen KI-Methoden nur Personengruppen, die in Datensätzen vertreten sind, in die Trainingsdaten für die Entwicklung KI-basierter Anwendungen einbezogen werden können. Dies stellt für marginalisierte Gruppen ein Risiko dar, weil sie oft bei Datenaufnahme und Technikentwicklung nicht berücksichtigt werden. Auch für die Aufdeckung gesundheitlicher Ungleichheiten mittels KI müssen Daten entlang von gängigen sozialen Kategorien markiert werden, damit diese retrospektiv entlang dieser Kategorien analysiert werden können. Das heißt, Diversität müsste in den Daten benannt und abgebildet werden. Nur dann ist es möglich, Ungleichheiten zu erkennen, zu benennen und zu ändern. Jegliche Berücksichtigung von Diversität erfordert und fördert daher üblicherweise erstens ein verstärktes Sammeln von Daten und zweitens das Zuweisen von gängigen sozialen Kategorien zu eben diesen Daten (Baumgartner 2021a, 2021b). Mehr Daten zu marginalisierten Gruppen zu sammeln kann, wenn gängige Kategorien zur Klassifizierung verwendet werden, zu einer Reifizierung dieser Kategorien führen (Baumgartner 2021a). Unabhängig davon sind Standardisierung, Quantifizierung und Kategorisierung wirkmächtige Prozesse innerhalb der Medizin, mit denen die Medizin schon lange zur Naturalisierung von Kategorien beiträgt. In Kombination wird eine datafizierte und digitale Medizin daher zu einer Verfestigung von Kategorien führen, so die Befürchtung von Expert*innen (Baumgartner 2021b; boyd/Crawford 2012).
Im Folgenden analysieren wir zwei Beispiele aus der Onkologie, einem Anwendungsbereich der Medizin, in dem große Hoffnungen auf KI gesetzt werden. Beide Indikationsgebiete bieten zudem spannende Fallbeispiele für eine intersektionale und queerfeministische Analyse.
* * *
Sie möchten gerne weiterlesen? Dieser Beitrag ist im Open Access in dem Heft 1-2023 der GENDER – Zeitschrift für Geschlecht, Kultur und Gesellschaft erschienen.
© Unsplash 2023, Foto: Maxim Berg
