Es ist ein paar Jahre her, dass Maschinelles Lernen und Neuronale Netze das erste heiße neue Thema waren. Seitdem hat der Markt viele und viele Unternehmen verändert, und die Branche hat sich von dem Begriff „Was können wir damit machen?“ Zu einer Beschreibung von „Das ist nützlich, das sollten wir wirklich haben ”. Obwohl der Markt noch lange nicht ausgereift ist, befindet er sich nicht mehr in den frühen Wild-West-Stadien, die wir vor einigen Jahren gesehen haben.
Eine bemerkenswerte Entwicklung in der Branche ist, dass es eine ganze Reihe von Siliziumanbietern gegeben hat, die beschlossen haben, ihr eigenes IP zu entwickeln, anstatt Dinge auszulizensieren Eigenentwicklungen, damit ihr Produkt nicht an Wettbewerbsfähigkeit einbüßt.
CEVA kündigt heute die neue zweite Generation von NeuPro-Beschleunigern für neuronale Netze an, den neuen NeuPro-S. Das neue Angebot verbessert und erweitert die Fähigkeiten der ersten Generation, wobei CEVA auch die Herstellerflexibilität verbessert und ein neues Produktangebot bietet, das die Tatsache berücksichtigt, dass eine breite Palette von Herstellern nun über ein eigenes firmeninternes IP verfügt.
Der NeuPro-S ist ein direkter Nachfolger des NeuPro IP der ersten Generation aus dem letzten Jahr, der die Architektur und Mikroarchitektur verbessert. Die Hauptverbesserungen der neuen Generation liegen in der Art und Weise, wie der Block jetzt den Speicher verbessert und verarbeitet, einschließlich der neuen Komprimierung und Dekomprimierung von Daten. CEVA gibt Zahlen wie 40% an, die den Speicherbedarf und die Bandbreite reduzieren und gleichzeitig Energieeinsparungen von bis zu 30 ermöglichen. Dies führt natürlich auch zu einer Leistungssteigerung, da bei einer ähnlichen Hardwarekonfiguration eine um bis zu 50% höhere Spitzenleistung als bei der erste Generation.
Die Innovationen der neuen Generation befassen sich eingehender mit den Veränderungen der Mikroarchitektur und umfassen die Komprimierung neuer Gewichte sowie die Optimierung der Netzwerk-Sparsity. Die Gewichtsdaten werden über den CEVA-Offline-Compiler über CDNN neu trainiert und komprimiert und verbleiben in komprimierter Form im Hauptspeicher der Maschine – wobei der NeuPro-S in Echtzeit über Hardware dekomprimiert wird.
Im Wesentlichen klingt die neue Komprimierungs- und Sparsity-Optimierung ähnlich wie das, was Arm in seinem ML-Prozessor macht, wobei die Modelle gewichtsneutral geschnitten sind. CEVA zeigt weiterhin die Kompressionsratenfaktoren auf, die erreicht werden können – wobei der Faktor von dem Prozentsatz der Nullgewichte sowie der Bittiefe der Gewichtsverteilung abhängt. Die Gewichtsverteilung ist eine weitere Optimierung der Offline-Komprimierung des Modells, die den tatsächlichen Platzbedarf der Gewichtsdaten reduziert, indem Gemeinsamkeiten ermittelt und untereinander ausgetauscht werden. Die Komprimierungsfaktoren reichen hier von 1,3 bis 2,7-fach im schlimmsten Fall mit geringen Schwachstellenverbesserungen bis zu 5,3 bis 7-fach in Modellen mit einer signifikanten Menge von Nullgewichten.
Weitere Optimierungen auf Speichersubsystemebene umfassen eine Verdoppelung der internen Schnittstellen von 128-Bit-AXI auf 256-Bit-Schnittstellen, wodurch eine größere Bandbreite zwischen dem System, dem CEVA XM-Prozessor und der NeuPro-S-Verarbeitungsengine ermöglicht wird. Wir haben auch eine Verbesserung der internen Caches festgestellt, und CEVA beschreibt die L2-Speichernutzung, die durch ein besseres Software-Handling optimiert wurde.
In Bezug auf die Gesamtskalierung der Architektur ändert sich der NeuPro-S im Vergleich zum Vorgänger nicht grundlegend. CEVA kennt hier keine grundsätzlichen Einschränkungen in Bezug auf die Implementierung des Produkts und wird die RTL auf der Grundlage der Kundenanforderungen erstellen. Wichtig ist hier, dass es eine Vorstellung von Clustern und Verarbeitungseinheiten innerhalb der Cluster gibt. Cluster sind voneinander unabhängig und können nicht mit derselben Softwareaufgabe arbeiten – Kunden würden mehr Cluster nur dann implementieren, wenn sie viele parallele Workloads auf ihrem Zielsystem haben – dies wäre beispielsweise in einer Automotive-Implementierung mit vielen Kamerastreams sinnvoll, aber würde nicht unbedingt einen Vorteil in einem mobilen System sehen. Die Cluster-Definition ist etwas seltsam und nicht ganz so klar, ob es sich tatsächlich um irgendeine Art von Hardware-Abgrenzung handelt oder eher um die Definition des Softwarebetriebs verschiedener zusammenhängender Verbindungsblöcke (da alles noch über AXI verbunden ist).
Innerhalb eines Clusters ist der obligatorische Block der XM6-Vision- und Universal-Vektorprozessor von CEVA. Dieser dient als Steuerungsprozessor des Systems und übernimmt Aufgaben wie den Steuerungsfluss und die Verarbeitung vollständig verbundener Schichten. CEVA merkt an, dass die Verarbeitung von ML-Modellen vom NeuPro-S-System vollständig unabhängig durchgeführt werden kann, während andere IP-Adressen für die Verarbeitung einiger Schichten möglicherweise noch auf die CPU angewiesen sein müssen.
Die NeuPro-S-Engines sind natürlich die MAC-Prozessor-Engines, die die rohe Leistung für eine breitere Parallelverarbeitung und die Erreichung der hohen TOPS-Werte hinzufügen. Ein Anbieter benötigt mindestens ein Verhältnis von 1: 1 XM zu NeuPro-Engines. Möglicherweise werden jedoch mehr XM-Prozessoren eingesetzt, die möglicherweise separate Computer-Visions-Aufgaben ausführen.
CEVA ermöglicht die Skalierung der MAC-Engine-Größe in einem einzelnen NeuPro-S-Block, der von 1024 8×8 MACs bis zu 4096 MACs reicht. Das Unternehmen ermöglicht auch unterschiedliche Bittiefen für die Verarbeitung, z. B. 16 x 16, da nach wie vor einige Anwendungsfälle erforderlich sind, die die präziseren 16-Bit-Formate nutzen. Es gibt auch Mischformatkonfigurationen wie 16×8 oder 8×16, bei denen die Daten- und Gewichtsgenauigkeit variieren kann.
Insgesamt wird angegeben, dass eine einzelne NeuPro-S-Engine in ihrer maximalen Konfiguration (NPS4000, 4096 MACs) bei einem Referenztakt von 1,5 GHz bis zu 12,5 TOPS erreicht. Die Häufigkeit hängt natürlich von der Implementierung und dem Prozessknoten ab, den der Kunde bereitstellt.
Wie bereits im Blockdiagramm erwähnt, ermöglicht CEVA jetzt auch die Integration von AI-Engines von Drittanbietern in ihren CDNN-Software-Stack und die Interaktion mit diesen. CEVA nennt dies "CDNN-Invite", und im Wesentlichen erkennt das Unternehmen hier die Existenz einer breiten Palette von kundenspezifischen AI-Beschleunigern an, die von verschiedenen Siliziumherstellern entwickelt wurden.
CEVA möchte den Anbietern ihre vorhandenen und umfassenden Compiler und Software zur Verfügung stellen und sie in die Lage versetzen, ihre eigenen NN-Beschleuniger anzuschließen. Viele Anbieter, die sich für einen eigenen Weg entschieden haben, verfügen wahrscheinlich nicht über so umfassende Softwareerfahrung oder haben nicht so viele Ressourcen für die Softwareentwicklung, und CEVA möchte diese Kunden mit dem neuen Angebot unterstützen.
Während der NeuPro-S eine fantastische Wahl für generische NN-Fähigkeiten bleiben würde, gibt CEVA zu, dass es benutzerdefinierte Beschleuniger geben könnte, die für bestimmte Aufgaben hyperoptimiert sind und entweder eine höhere Leistung oder Effizienz erreichen. Der Hersteller könnte somit das Beste aus beiden Welten haben, indem er ein hohes Maß an Flexibilität sowohl in Bezug auf Software als auch in Bezug auf Hardware aufweist. Man kann sich dafür entscheiden, den NeuPro-S als Beschleunigermaschine zu verwenden, nur seine eigene IP zu verwenden oder ein System mit beiden Einheiten zu erstellen. Die einzige Voraussetzung hierfür ist, dass mindestens ein XM-Prozessor implementiert ist.
CEVA behauptet, der NeuPro-S sei heute erhältlich und wurde lizenziert, um Kunden in Automobilkameraanwendungen zu führen. Wie immer sind Siliziumprodukte wahrscheinlich 2 Jahre entfernt.
