Para crear un número típico, el equipo que analizó rastreó el hardware que proporcionó solicitudes y hardware durante un período de 24 horas, así como el tiempo de inactividad de ese hardware. Esto le brinda una estimación de energía por solicitud y variará según el modelo utilizado. Todos los días, identifican el aviso mediano y lo usan para calcular el impacto ambiental.
Bajar
Usando estas estimaciones, podemos ver que el impacto de las solicitudes de texto individuales es bastante pequeño. “El texto mediano de la aplicación Gemini estima que utiliza 0.24 vatios de energía, libera 0.03 gramos de dióxido de carbono equivalente (GCO2E) y consume 0.26 mililitros (o aproximadamente 5 gotas) de agua”, concluyen. Para ponerlo en contexto, estiman que el uso de energía es similar a unos nueve segundos de ver televisión.
La mala noticia es que la cantidad de solicitudes es definitivamente muy alta. La compañía eligió realizar operaciones de IA en todas las solicitudes de búsqueda, que son solicitudes de cálculo que simplemente no existían hace unos años. Por lo tanto, aunque los efectos individuales son pequeños, es probable que los costos acumulativos sean significativos.
¿Albricias? Hace solo un año, habría sido mucho peor.
Algo de esto llega a la situación. El auge solar en los EE. UU. Y en otros lugares ha facilitado que Google organice la electricidad renovable. Como resultado, las emisiones de carbono por unidad de energía consumida se han reducido en 1,4 veces durante el año pasado. Sin embargo, la mayor victoria fue el aspecto del software, lo que condujo a una reducción de 33x en la energía consumida por aviso.
La mayor parte del uso de energía para proporcionar solicitudes de IA proviene del tiempo dedicado a los chips de aceleradores personalizados.
Créditos: Elsworth, et. Alabama.
El equipo de Google explica muchas de las optimizaciones a las que ha contribuido la compañía. Uno es un enfoque llamado mezcla de expertos, que implica saber cómo activar solo la parte del modelo AI necesario para manejar una solicitud en particular. Esto podría hacer que sus necesidades de cálculo sean 10-100 veces más. Hemos desarrollado muchas versiones compactas del modelo principal, reduciendo la carga computacional. La gestión del centro de datos también juega un papel. Esto se debe a que la compañía puede mantener el resto en estado de baja energía mientras se asegura de que el hardware activo se utilice completamente.
