Machine Learning: Nvidia gibt TensorRT 2 frei

Machine Learning: Nvidia gibt TensorRT 2 frei

Rainald Menge-Sonnentag

Die Inferenz-Bibliothek bringt einige Performanceoptimierungen und führt eine Custom Layer API ein, mit der Entwickler ihre eigenen Plug-ins einbinden können.

Mit TensorRT bietet Nvidia eine Kombination aus Optimierungswerkzeug und Laufzeitumgebung für künstliche neuronaler Netze an. Nun haben die Macher Version 2 der Bibliothek veröffentlicht und gleichzeitig TensorRT 3 angekündigt. Für Entwickler dürfte der interessanteste Aspekt von TensorRT 2 die Custom Layer API sein, über die sie eigene Plug-ins verwenden können, die IPlugin-konform sein müssen.

Die Bibliothek arbeitet ausschließlich mit Nvidias GPUs zusammen und ist sowohl auf Performance als auch Energiebedarf optimiert. Sie ist als Inferenz-Modul ausgelegt, verwendet also bereits trainierte neuronale Netze, um neue Inhalte zu analysieren und so beispielsweise Bildinhalte zu analysieren.

TensorRT setzt als Inference Library auf bereits trainierte neuronale Netze, um neue DAten zu analyiseren.
TensorRT setzt als Inference Library auf bereits trainierte neuronale Netze, um neue Daten zu analysieren. Vergrößern
Bild: Nvidia

GPU im Vorteil bei Machine Learning

Diese Inferenzen oder Rückschlüsse lassen sich sowohl mit CPUs als auch mit GPUs erstellen, wobei Letztere wie in vielen Bereichen des maschinellen Lernens im Vorteil sind, da die Prozesse vom parallelen Ablauf mehr profitieren als von der Leistung einzelner Prozessorkerne. TensorRT kann Inferenzen sowohl mit 8-bit Integerwerten (Int8) als auch 16-bit Fließkommazahlen (FP16) erstellen.

TensorRT 2 bietet laut Nvidias Messungen eine bis zu 45-fach schnellere Inferenzberechnung mit Int8-Präzision im Vergleich zu CPU-Systemen mit 32-bit-Fließkommazahlen (FP32) bei einer Latenz unter 7 Millisekunden im Zusammenspiel mit ResNet 50. Dabei handelt es sich jedoch um einen Spitzenwert, den beispielsweise die Messung mit GoogLeNet nicht erzielt.

Nvidia hat zudem auf der Entwickler-Site angekündigt, dass die kommende TensorRT-Version 3 mit Volta GPUs zusammenarbeiten wird und damit die Inferenz-Berechnungen um den Faktor 3,5 im Vergleich zur Tesla P100 verbessern soll. TensorRT steht Entwicklern, die am Nvidia Developer Programm teilnehmen, kostenlos zur Verfügung.

AMD versucht mit ROCm eine offene Alternative und einen Gegenpol zu Nvidias Übermacht im Machine-Learning-Umfeld zu schaffen. heise Developer wird in Kürze einen Fachartikel dazu veröffentlichen. (rme)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.