466 TFLOPS FP8 a 300W

Tenstorrent ha presentado un procesador Wormhole de próxima generación para cargas de trabajo de IA que promete ofrecer un rendimiento decente a un precio bajo. Actualmente, la empresa ofrece dos tarjetas PCIe adicionales con uno o dos procesadores Wormhole además de las estaciones de trabajo TT-LoudBox y TT-QuietBox dirigidas a desarrolladores de software. La versión completa de hoy está dirigida a desarrolladores y no a aquellos que implementarán placas Wormhole para sus cargas de trabajo comerciales.

«Siempre es útil poner más productos nuestros a disposición de los desarrolladores. El control de versiones de los sistemas de desarrollo con la tarjeta Wormhole™ ayuda a los desarrolladores a escalar y trabajar en software de IA de múltiples chips.dijo Jim Keller, director ejecutivo de Tenstorrent.Además de este lanzamiento, nos complace que la grabación y reproducción de audio de nuestra segunda generación, Blackhole, vaya bien.«

Cada procesador Wormhole tiene 72 núcleos Tensix (con cinco núcleos RISC-V que admiten diferentes formatos de datos) con 108 MB de RAM estática (SRAM) para proporcionar 262 TFLOPS FP8 a 1 GHz con una potencia de diseño térmico de 160 W. La tarjeta Wormhole n150 de un solo chip lleva 12 GB de memoria GDDR6 con un ancho de banda de 288 GB/s.

Los procesadores Wormhole brindan escalabilidad flexible para satisfacer diversas necesidades de cargas de trabajo. En una configuración de estación de trabajo estándar con cuatro tarjetas Wormhole n300, los procesadores se pueden combinar para funcionar como una sola unidad, apareciendo como una red unificada y extendida de núcleos de software Tensix. Esta configuración permite a los aceleradores trabajar en la misma carga de trabajo, dividirla entre cuatro desarrolladores o ejecutar hasta ocho modelos de IA distintos simultáneamente. La ventaja crucial de esta escalabilidad es que se ejecuta de forma nativa sin necesidad de virtualización. En entornos de centros de datos, los procesadores Wormhole escalarán dentro de un solo dispositivo usando PCIe o fuera de un solo dispositivo usando Ethernet.

Desde el punto de vista del rendimiento, el Wormhole n150 de un solo chip de Tenstorrent (72 núcleos Tensix de 1 GHz, 108 MB de SRAM, 12 GB GDDR6 a 288 GB/s) es capaz de entregar 262 FP8 TFLOPS a 160 W, mientras que la placa Wormhole n300 de doble chip (128 núcleos Tensix de 1 GHz) , 192 MB de SRAM, 24 GB GDDR6 agregados a 576 GB/s) pueden ofrecer hasta 466 TFLOPS FP8 a 300 W (según Hardware de Tom).

Para poner en contexto esos 466 FP8 TFLOPS a 300 W, comparémoslo con lo que ofrece Nvidia, líder del mercado de IA, con esta potencia de diseño térmico. La A100 de Nvidia no es compatible con FP8, pero sí con INT8 y tiene un rendimiento máximo de 624 TOPS (1248 TOPS con escasez). Por el contrario, el H100 de Nvidia es compatible con FP8 y tiene un rendimiento máximo de 1.670 TFLOPS (3.341 TFLOPS con rarefacción) a 300 W, una diferencia significativa con el Wormhole n300 de Tenstorrent.

Pero hay un gran problema. La tarjeta Wormhole N150 de Tenstorrent se ofrece a $999, mientras que la N300 se ofrece a $1,399. Por el contrario, la tarjeta Nvidia H100 puede venderse por 30.000 dólares, dependiendo de las cantidades. Naturalmente, no sabemos si cuatro u ocho procesadores Wormhole podrán ofrecer el rendimiento de una sola tarjeta H300, aunque lo harán con 600W o 1200W TDP respectivamente.

Además de las tarjetas, Tenstorrent ofrece a los desarrolladores estaciones de trabajo prediseñadas con cuatro tarjetas n300 dentro del TT-LoudBox menos costoso basado en Xeon con refrigeración activa y el TT-QuietBox premium con tecnología EPYC y refrigeración líquida.

fuentes: tenstorrent, Hardware de Tom