Las organizaciones que buscan adoptar Inteligencia Artificial encuentran a menudo limitaciones en su infraestructura local. Para resolver esta problemática, AMD ha presentado la tarjeta Instinct MI350P PCIe, una solución de doble ranura compatible con servidores estándar. El componente permite implementar inferencia y flujos de trabajo de generación aumentada por recuperación (RAG) dentro de los límites de potencia y refrigeración actuales de los centros de datos.
Este formato resulta una opción para los canales que atienden empresas que requieren mayor capacidad de cómputo que la ofrecida por los procesadores centrales, pero que no están preparadas para invertir en plataformas aceleradoras dedicadas. Los sistemas pueden integrar hasta ocho tarjetas, siendo aptas para modelos de diversos tamaños.
En el apartado técnico, el hardware destaca por su compatibilidad nativa con los tipos de datos MXFP6 y MXFP4. Se estima un rendimiento pico de hasta 4600 TFLOPS en MXFP4, la cifra más alta registrada para una tarjeta PCIe de categoría empresarial. Además, cuenta con 144 GB de memoria de alto ancho de banda (HBM3E) con una velocidad de transferencia de hasta 4 TB/s.
La propuesta de software de la compañía se basa en estándares abiertos para asegurar la interoperabilidad multiplataforma. La plataforma de IA empresarial incluye el operador de GPU de Kubernetes para la gestión del ciclo de vida y microservicios de inferencia nativos de la nube. Gracias a la compatibilidad nativa con marcos como PyTorch, es posible migrar cargas de trabajo con cambios mínimos en el código fuente.
Finalmente, la arquitectura admite diversos niveles de precisión, incluyendo INT8 y BF16, beneficiándose del soporte para datos dispersos. Esta flexibilidad permite procesar las cargas de trabajo actuales en infraestructuras convencionales, facilitando la transición desde entornos bare metal hacia sistemas listos para producción sin costos adicionales por token.
