Red Hat förstärker AI-skalbarhet och flexibilitet

Med den senaste versionen av Red Hat OpenShift AI

Red Hat OpenShift AI 2.15 erbjuder förbättrad prestanda och optimerade arbetsflöden för att driva AI-innovation i stor skala.

Red Hat lanserar den senaste versionen av Red Hat OpenShift AI, en plattform för artificiell intelligens (AI) och maskininlärning (ML) baserad på Red Hat OpenShift. Plattformen gör det möjligt för företag att utveckla och implementera AI-drivna applikationer i stor skala över hybridmolnmiljöer. Red Hat OpenShift AI 2.15 ger ökad flexibilitet samt inställnings- och spårningsmöjligheter, vilket påskyndar AI/ML-innovation och förbättrar operativ pålitlighet med högre regelbundenhet och ökad säkerhet över publika moln, datacenter och edge-miljöer.

Enligt IDC kommer företag i Forbes Global 2000 att allokera över 40 % av sina IT-utgifter till AI-initiativ.[1] IDC förutspår också att företag år 2026 kommer att använda generativ AI och automationsteknologier för att uppnå produktivitetsvinster på 1 biljon dollar.[2] Red Hat anser att denna investeringsnivå kräver en AI/ML-plattform som hanterar modellers livscykler, bygger generativ AI-applikationer och är flexibel nog att köras parallellt med traditionella arbetsbelastningar i hybrida moln.

Red Hat OpenShift AI 2.15 syftar till att hjälpa företag att möta de framväxande behoven för AI-arbetsbelastningar, tillsammans med kraven för de verksamhetskritiska, molnbaserade applikationer som driver deras affärsverksamhet idag. De avancerade funktionerna som erbjuds i den senaste versionen av Red Hat OpenShift AI inkluderar:

• Modellregister som för närvarande erbjuds som förhandsvisning fungerar som en central plats för att hantera registrerade modeller. Registret erbjuder ett strukturerat sätt att dela, versionshantera, distribuera och spåra prediktiva och gen AI modeller, metadata och modellkomponenter. Det finns även stöd för flera modellregister. Red Hat har också donerat modellregisterprojektet till Kubeflow-communityn som ett delprojekt.
• Detektering av dataförskjutning möjliggör övervakning av förändringar i inputdata för implementerade ML-modeller, så att dataanalytiker kan upptäcka när data avviker från träningsdata. Denna funktion gör det möjligt att upptäcka när de live-data som används för modellens inferens avviker avsevärt från de data som modellen tränades på. Detektering av dataförskjutning hjälper till att verifiera modellens tillförlitlighet genom att kontinuerligt övervaka inputdata, hålla modellen i linje med verkliga data och bidra till att bibehålla noggrannheten i dess förutsägelser över tid.
• Verktyg för biasdetektion hjälper dataanalytiker och AI-ingenjörer att övervaka om modeller är rättvisa och opartiska, vilket är viktigt för att bygga förtroende. Dessa verktyg ger insikter om rättvisa under implementeringar och kommer från TrustyAI, ett öppen källkods-community för ansvarsfull AI-utveckling.
• Effektiv finjustering med LoRA använder low-rank adapters (LoRA) för att finjustera stora språkmodeller, som Llama 3. Detta låter organisationer skala AI-arbetsbelastningar och minska kostnader och resursanvändning. Optimerad modellträning i molnet förbättrar prestanda och gör AI-distribution mer skalbar.
• Stöd för NVIDIA NIM, en uppsättning lättanvända gränssnittsmikrotjänster som påskyndar leveransen av generativa AI-applikationer. Integrationen med NIM, som är en del av NVIDIA AI Enterprise-mjukvaruplattformen, kommer att bidra till att snabba upp implementeringen av generativ AI och samtidigt stödja ett brett utbud av AI-modeller för att leverera skalbar inferens lokalt eller i molnet via programmeringsgränssnitt för applikationer (API).
• Stöd för AMD GPUs ger tillgång till en AMD ROCm-arbetsmiljöbild för att använda AMD GPU vid modellutveckling. Den nya funktionaliteten möjliggör också tillgång till bilder som kan användas för att köra, träna och finjustera modeller med AMD GPU. Detta stöd ger organisationer fler alternativ för att använda GPU och förbättra prestandan vid beräkningsintensiva aktiviteter.

Förbättrad modelldistribution
Som en heltäckande AI/ML-plattform lägger Red Hat OpenShift AI 2.15 också till nya funktioner kring hantering av generativa AI-modeller, inklusive vLLM-distributionsmiljö för KServe. Denna nya funktion introducerar den populära öppen källkods-serveringsmiljön för stora språkmodeller (LLM) till plattformen. Flexibiliteten och prestandan hos vLLM är ett utmärkt tillskott till plattformens befintliga serveringsmiljöer, och användare kan dessutom lägga till egna anpassade alternativ utifrån verksamhetsbehov.

Den senaste versionen av Red Hat OpenShift AI lägger till stöd för KServe Model Cars, vilket möjliggör OCI-arkiv för att lagra och komma åt containeriserade modellversioner. Val av privata/offentliga rutter för slutpunkter i KServe gör det möjligt för organisationer att höja säkerheten genom att rikta modellen till interna slutpunkter vid behov.

Utökade alternativ för AI-träning och experimentering
Red Hat OpenShift AI 2.15 förbättrar datavetenskapliga pipelines och experimentspårning, vilket gör det enklare för dataanalytiker att hantera, jämföra och analysera pipeline-körningar i en logisk struktur. Plattformen erbjuder också hyperparameterjustering med Ray Tune samt avancerade optimeringsalgoritmer för att förbättra noggrannheten och effektivisera träning av prediktiva och generativa AI-modeller. De grundläggande containeravbildningarna för Ray-kluster ingår nu i den senaste versionen av Red Hat OpenShift AI. Tränings- och justeringsjobb kan schemaläggas över distribuerade arbetsbelastningar i klustret för att snabba upp jobben och maximera nodutnyttjandet.

Joe Fernandes, vice president och general manager, AI business unit, Red Hat säger:
- Allteftersom företag utforskar möjligheterna med AI-aktiverade applikationer och arbetsbelastningar, förväntar vi oss ökat intresse och efterfrågan på plattformar i takt med att konkreta strategier tar form. För att se avkastning på dessa investeringar krävs en pålitlig, skalbar och flexibel AI-plattform som kan köras där deras data finns, över hybridmolnet. Den senaste versionen av Red Hat OpenShift AI erbjuder förbättrad skalbarhet, prestanda och driftseffektivitet och fungerar som en hörnsten i modellens livscykel, vilket gör det möjligt för IT-organisationer att dra nytta av en kraftfull AI-plattform samtidigt som de kan bygga, distribuera och köra i den miljö deras affärsbehov kräver.

Justin Boitano, vice president, enterprise AI software, NVIDIA säger:
- Företag söker strömlinjeformade lösningar för att snabbt driftsätta AI-applikationer. Integrationen av NVIDIA NIM med Red Hat OpenShift AI 2.15 förbättrar fullstack-prestanda och skalbarhet över hybridmolnmiljöer, vilket hjälper utvecklings- och IT-team att effektivt och säkert hantera och accelerera sina generativa AI-distributioner.

Tillgänglighet
Red Hat OpenShift 2.15 blir allmänt tillgänglig från mitten av november 2024.

För ytterligare information, vänligen kontakta:
Jenny Widing, Northern Link PR för Red Hat
+46 70 985 30 20
jenny@nlpr.se

2024-11-13 - Industritorget