Los pronósticos alcistas recomiendan que el sistema experto (IA) podría contribuir aproximadamente $ 157 billones a la economía internacional para 2030 Desde automóviles y camiones autónomos hasta aprobaciones de hipotecas de viviendas más rápidas y opciones de marketing automatizadas, los algoritmos de IA garantizan varias ventajas para las organizaciones y sus consumidores. Lamentablemente, es posible que estas ventajas no se disfruten de manera similar. La predisposición algorítmica, cuando los algoritmos producen resultados prejuiciosos en comparación con clasificaciones particulares de personas, generalmente minorías y mujeres, también podría intensificar las desigualdades sociales existentes, especialmente cuando se trata de raza y género. Desde el algoritmo de pronóstico de reincidencia utilizado en los tribunales hasta el algoritmo de pronóstico de tratamiento utilizado por los centros de salud, los estudios de investigación han descubierto pruebas de predisposiciones algorítmicas que hacen que las variaciones raciales sean aún peores para los afectados, no mucho mejores. Muchas empresas han hecho un esfuerzo significativo para combatir la predisposición algorítmica en su gestión y servicios. Por lo general, utilizan métodos impulsados ​​por la ciencia de datos para examinar cuáles serán los pronósticos de un algoritmo antes de introducirlo en el mundo. Esto puede consistir en echar un vistazo a varias especificaciones de diseño de IA, definir la función imparcial que el diseño debe reducir, elegir la información de entrada que se incluirá en el diseño, preprocesar la información y realizar pronósticos de diseño de posprocesamiento. Sin embargo, el resultado final de la publicación de un algoritmo depende no solo de los pronósticos del algoritmo, sino también de cómo será utilizado finalmente por el servicio y los clientes, y este contexto vital de receptividad y adopción del algoritmo se ignora con frecuencia. Argumentamos que la implementación del algoritmo debería pensar en las condiciones del mercado bajo las cuales se utiliza el algoritmo. Tales condiciones de mercado podrían afectar qué / quién, y en qué grado afectarán las elecciones del algoritmo, y por esta razón afectar las ventajas reconocidas para los usuarios de utilizar el algoritmo. Por ejemplo, para ayudar a sus anfitriones a optimizar sus ganancias (es decir, los ingresos de la casa), Airbnb lanzó una herramienta de precios inteligente basada en algoritmos de inteligencia artificial que cambia instantáneamente la tarifa diaria de un anuncio. Los anfitriones de Airbnb tienen detalles realmente restringidos sobre las casas en disputa de Airbnb, las tarifas de los hoteles, la estacionalidad y otras necesidades que pueden utilizar para fijar el precio adecuado de sus propiedades residenciales o comerciales. Se indicó el algoritmo de precios inteligentes para ayudar con esto, incluidos los detalles apropiados sobre las cualidades del anfitrión, el hogar y la comunidad de las enormes fuentes de información de la empresa para determinar el mejor costo para una propiedad residencial o comercial. En nuestro estudio de investigación publicado recientemente, las ganancias diarias típicas de los anfitriones que adoptaron tasas inteligentes aumentaron en un 8,6% Después del lanzamiento del algoritmo, el espacio de ingresos raciales aumentó (es decir, los anfitriones blancos ganaron más) a nivel de la población, que consta de adoptantes y no adoptantes, debido al hecho de que los anfitriones negros tenían muchas menos probabilidades de adoptar el algoritmo que los anfitriones blancos. En las pruebas, la herramienta hizo precisamente lo que se esperaba. Descubrimos que era completamente ciego a la raza porque los costos de listados comparables se redujeron en la misma cantidad a pesar de la raza del anfitrión. El algoritmo mejoró los ingresos de los hosts negros más de lo que proporcionó a los hosts blancos. Esto se debe a que la curva de necesidad de vivienda para los anfitriones negros era más flexible (es decir, más sensible a las modificaciones de costos) que la curva de necesidad de viviendas comparables propiedad de anfitriones blancos. Como la disminución del costo fue exactamente la misma, la variedad de reservas aumentó más para los anfitriones negros que para los blancos, lo que provocó un mayor aumento en los ingresos de los anfitriones negros que de los blancos. Desde el punto de vista de la ciencia de datos, tenía una implementación ideal: este algoritmo bien intencionado ciego a la raza tenía la intención de ofrecer ventajas monetarias al mejorar los ingresos de todos los adoptantes y proporcionar ventajas sociales al disminuir el espacio de ganancias raciales entre los adoptantes. En la vida real, sin embargo, fue una historia variada. El lanzamiento del algoritmo terminó expandiéndose en lugar de reducir la variación racial en Airbnb. Esta repercusión inesperada podría haberse evitado internalizando las condiciones del mercado a través de la implementación del algoritmo. Identificamos que las empresas deben pensar en las siguientes condiciones del mercado durante el desarrollo del algoritmo de IA: 1) la receptividad de los usuarios objetivo a un algoritmo de IA, 2) las respuestas de los clientes a los pronósticos del algoritmo y 3) si el algoritmo debe ser controlado para negociar con las desigualdades raciales y financieras al incluir los hábitos tácticos de las empresas en el establecimiento del algoritmo. Airbnb, por ejemplo, debería haber preguntado: 1) ¿Cómo responderán los anfitriones de Airbnb (más particularmente, adoptarán) el algoritmo? y 2) ¿Cómo se puede motivar a los anfitriones negros para que lo adopten? Estas condiciones del mercado determinan el último resultado del mercado (por ejemplo, tasa de artículo, necesidad del hogar, ventajas para los usuarios) de usar un algoritmo de IA y, por lo tanto, deben examinarse y pensarse con anticipación.

¿Cómo verán un algoritmo los usuarios objetivo?

El algoritmo de precios inteligentes de Airbnb aumentó las ganancias diarias para todos los que lo utilizaron. Los anfitriones blancos vieron un aumento de $ 5,20 al día, y los anfitriones negros vieron un aumento de $ 139. Las nuevas tarifas redujeron la variación financiera entre los adoptantes en un 71,3%. Sin embargo, como los anfitriones negros tenían un 41% menos de probabilidades que los anfitriones blancos de adoptar el algoritmo, el resultado de la introducción del algoritmo no fue bastante aceptable. Para los hosts negros que no utilizaron el algoritmo, el espacio de ingresos de hecho aumentó . en la siguiente preocupación: si usted es el CEO de una empresa que quiere erradicar la injusticia racial y se le ofrece un informe de algoritmo de este tipo, ¿qué pretende sembrar en el grupo de gestión de ciencia e ingeniería? Para atender la baja receptividad de los anfitriones negros a la nueva herramienta, Airbnb podría motivar a los anfitriones negros a adoptar el algoritmo, por ejemplo, gratificando a los usuarios negros que lo prueben o compartiendo una descripción completa y una prueba de las ventajas de utilizar el algoritmo. . Asimismo, descubrimos que el espacio de adopción racial era más considerable entre los anfitriones con un nivel socioeconómico bajo (SES), por lo que apuntar a los anfitriones negros en los cuartiles de SES más bajos sería más efectivo. Sin embargo, para hacer esto, es fundamental comprender por qué las personas se muestran reacias en el primer lugar. Hay muchas razones por las que las personas pueden no responder a la transferencia del control a un algoritmo. Se ha descubierto que la educación y los ingresos analizan una barrera de adopción de alta innovación para los usuarios negros, especialmente cuando se utiliza la innovación ( económicamente) caro. Incluso si la innovación se utiliza de forma totalmente gratuita (por ejemplo, el inteligente algoritmo de precios de Airbnb), la confianza también juega una función sustancial: Un documento de trabajo (Shunyuan Zhang en coautoría con Yang Yang) demostró que aumentar la conciencia sobre la predisposición racial haría que los grupos desfavorecidos fueran menos confiados y más reacios a aceptar algoritmos básicos, que consisten en los que no son raciales y que brindan ventajas monetarias, de salud o educativas. a los usuarios. En conversaciones con una empresa de comercio electrónico concentrada en productos utilizados, los autores del estudio de investigación descubrieron que solo el 20% de los vendedores utilizaban la herramienta de tarifas totalmente gratuita proporcionada por la empresa, lo que hace que las tarifas sean ineficaces y la oferta sea lenta. Un estudio inicial recomendó que los vendedores podrían exagerar el valor de sus productos utilizados y podrían dudar en aceptar las recomendaciones de tarifas predichas por algoritmos; esto se llama el impacto de la dotación. Imagine que un vendedor observa un vestido usado que cree que vale $ 15, sin embargo, el algoritmo de precios, que se entrenó en un enorme conjunto de datos y diseños, recomienda $ 10 y el vendedor responde de manera adversa. En reacción a respuestas como esta, la empresa podría discutir con el vendedor cómo se hizo la idea de $ 10 y proporcionar productos comparables que tenían un precio y un costo de $ 10 Ofrecer tal descripción aumenta la apertura de las operaciones de la organización y aumenta la confianza del consumidor En pocas palabras, al integrar distinciones en la adopción de algoritmos de inteligencia artificial en todos los grupos raciales, las empresas deben adaptar sus esfuerzos de promoción de algoritmos e intentar atender los problemas de los usuarios que más desean adoptar.

¿Cómo responderán los clientes a los resultados de un algoritmo de IA?

Es un error ver los algoritmos de IA simplemente como diseños que generan opciones y afectan a las personas que obtienen esas opciones. El efecto es de ambos métodos: la forma en que los clientes (es decir, los receptores de elección) responden a las elecciones de IA formará el resultado del algoritmo en los resultados del mercado. El algoritmo de precios inteligentes de Airbnb es un buen ejemplo de este fenómeno. Suponga que es el CEO de Airbnb y está informando sobre el algoritmo establecido por su empresa en una Audiencia del Comité Nacional sobre IA justa. Puede estar encantado de que su algoritmo, condicionado a la adopción, pueda combatir la injusticia racial. Podría hacer más para reducir la variación racial. Debe pensar en las siguientes condiciones secretas de marketing: 1) Los hosts en blanco y negro pueden lidiar con varias curvas de necesidad, y 2) Los hosts en negro están menos representados en la información utilizada para entrenar el algoritmo de IA. En particular, la curva de necesidad de las propiedades residenciales o comerciales de los anfitriones negros fue más flexible que la de las propiedades residenciales o comerciales comparables de propiedad de los anfitriones blancos. Se pueden desarrollar varias curvas de necesidad a partir de la discriminación social, lo que lleva a los visitantes a ser más conscientes de los costos en propiedades residenciales o comerciales de propiedad de negros que en propiedades de propiedad de blancos. Como los visitantes respondieron mejor a las reducciones de costos para las casas de propiedad de negros, es importante incluir esta condición del mercado cuando se lanza un algoritmo de inteligencia artificial. Puede reducir aún más el espacio de ganancias entre los hosts en blanco y negro si utiliza directamente la raza o si consiste indirectamente en atributos cuidadosos o asociados en el algoritmo. Descuidar las distinciones fundamentales en las condiciones del mercado puede resultar en ideas de tarifas que están más lejos de los costos óptimos para los anfitriones negros que de los costes óptimos para los anfitriones blancos. Esto se debe a que los anfitriones negros representan solo el 9% de los hogares de Airbnb, mientras que los anfitriones blancos representan el 80%.

¿Qué deben hacer las empresas?

Si está en una fuerza laboral de equidad de IA a nivel empresarial o del gobierno federal, ¿qué debe hacer cuando piense en cómo lanzar un algoritmo indicado para aliviar las variaciones raciales? Si tuviera que esbozar la comunidad del algoritmo focal, ¿quiénes serían los desarrolladores, los usuarios objetivo y los receptores de la elección del algoritmo? ¿Cómo responderían al algoritmo y cómo afectarían sus respuestas al último resultado del algoritmo? Primero , piense realmente en cómo los usuarios objetivo verán el algoritmo. Esto formará cómo se lleva a cabo en la vida real. Pregunte si los usuarios saben (o pueden ser advertidos) de cómo funciona el algoritmo. Si entienden que su empresa está lanzando un nuevo algoritmo indicado para atender una injusticia, ¿cómo responderán? Si los usuarios subrepresentados pueden sentirse forzados o sentir que el algoritmo podría tener prejuicios contra ellos, será menos probable que lo utilicen. Tenga en cuenta cómo la discriminación histórica y los problemas actuales con la representación insuficiente en los conjuntos de información pueden hacer que sus usuarios objetivo duden (por ejemplo, probablemente cuestiones bien fundamentadas en la atención médica podría generar desigualdad en la vacunación Covid-19). segundo , concéntrese en la estructura de confianza y ayude a los usuarios a comprender hend qué se sugiere hacer el algoritmo y cómo funciona. Si la adopción del algoritmo es opcional (como cuando se trata de Airbnb), este procedimiento de pensar si los usuarios, especialmente los usuarios de grupos subrepresentados, comprenderán, confiarán y adoptarán el algoritmo es mucho más esencial. Es esencial interactuar claramente con ellos sobre la función de presentar el algoritmo y cómo funciona, junto con incentivarlos a utilizar el algoritmo, específicamente cuando es más confiable para los grupos minoritarios o basados ​​en el género. Haga que la descripción de cómo se introdujo el esfuerzo para reducir las injusticias raciales, y cómo lo hará, sea parte de su técnica de implementación. Debido a la escalabilidad y el valor de los pronósticos precisos, las organizaciones lanzarán y usarán progresivamente algoritmos en sus operaciones y servicios, y es probable que la adopción simplemente aumente. Las empresas deben lidiar con los problemas de que los algoritmos pueden producir resultados prejuiciosos en comparación con los grupos desfavorecidos. Los métodos típicos impulsados ​​por la ciencia de la información que consisten en procesar información y ajustar las especificaciones de diseño son inadecuados e ineficaces. Para que la organización pueda luchar mejor contra los problemas de predisposición algorítmica, pensar en la comprensión y adopción de algoritmos y las condiciones del mercado como las que hemos explicado debería ser una gran parte de la presentación de herramientas algorítmicas. Si se hacen correctamente, estas herramientas bien podrían aliviar las predisposiciones humanas y salvar los efectos financieros que se desarrollan a partir de ellas. Si se hace de forma incorrecta, simplemente mediante un par de algoritmos de empresas reconocidas, podría debilitar por completo y ralentizar la implementación del algoritmo de IA.