AI & Tech Talks #15 - Testy obciążeniowe Nemotrona i aplikacje AI na produkcjiNVIDIA NIM, własna infrastruktura LLM i bezpieczne wdrażanie aplikacji
O wydarzeniu
AI & Tech Talks #15 to spotkanie organizowane przez Pearson i Business Link dla osób zainteresowanych praktycznym wykorzystaniem sztucznej inteligencji w produktach i środowiskach produkcyjnych. Program skupia się na doświadczeniach związanych z własną infrastrukturą modeli językowych oraz kontrolowanym publikowaniem aplikacji generowanych przez AI. Wydarzenie odbędzie się w przestrzeni Business Link Nowy Rynek i połączy prezentacje z wymianą doświadczeń lokalnej społeczności technologicznej.
Grzegorz Bilewski, Lead Specialist i AI Scientist w Pearsonie, przedstawi wnioski z próby zastąpienia Gemini modelami NVIDIA Nemotron w aplikacji tutorującej. Opowie o uruchamianiu mikroserwisów inferencyjnych NVIDIA NIM na chmurowych GPU za pośrednictwem NVIDIA Brev oraz o testowaniu takiego rozwiązania pod obciążeniem. Uczestnicy poznają praktyczne obserwacje istotne dla zespołów rozważających przejście z komercyjnego API modelu na własną infrastrukturę.
Maciej Janiszewski, Director, AI Enterprise Architecture w Pearsonie, pokaże nadzorowaną ścieżkę wdrażania wewnętrznych aplikacji tworzonych przez AI. Omówi wbudowane kontrole bezpieczeństwa, zatwierdzony dostęp do danych i modeli LLM oraz przekazywanie wyników nieudanych kontroli z powrotem do AI w celu poprawienia aplikacji. Przedstawi, jak taki proces wspiera osoby bez doświadczenia inżynierskiego w dostarczaniu narzędzi. Wieczór uzupełnią quiz AI & Tech z nagrodami oraz networking przy pizzy; trzecie wystąpienie pozostaje nieogłoszone.
Program, 4 listopada, 18:00–21:00:
• Grzegorz Bilewski: „Testy obciążeniowe modeli Nemotron na NVIDIA NIM”, doświadczenia z próby zastąpienia Gemini w aplikacji do nauki.
• Maciej Janiszewski: „Od promptu do produkcji: jak każdy w Pearsonie może bezpiecznie opublikować aplikację zbudowaną przez AI”.
• Trzecie wystąpienie: prelegent i temat zostaną ogłoszeni.
• Quiz AI & Tech z nagrodami.
• Networking i pizza.
Organizator nie podaje godzin poszczególnych punktów. Wstęp jest bezpłatny, liczba miejsc ograniczona, zapisy przez Meetup. Spotkanie na 1. piętrze budynku E; przed wydarzeniem na dole ma czekać osoba z zespołu Pearson, która wskaże drogę.
Czego się dowiesz
- Jak modele NVIDIA Nemotron zachowują się pod obciążeniem w aplikacji tutorującej.
- Jak uruchamiano mikroserwisy NVIDIA NIM na chmurowych GPU przez NVIDIA Brev.
- Jakie wnioski płyną z próby zastąpienia komercyjnego API modelu własną infrastrukturą.
- Jak zorganizowana jest nadzorowana publikacja aplikacji generowanych przez AI w Pearsonie.
- Jak łączyć wdrażanie z kontrolami bezpieczeństwa i zatwierdzonym dostępem do danych oraz LLM.
- Jak wykorzystywać wyniki nieudanych kontroli do poprawiania aplikacji przez AI.
Dla kogo?
Dla inżynierów AI/ML, data scientistów, architektów i programistów wdrażających rozwiązania oparte na LLM. Także dla osób rozwijających produkty, platformy wewnętrzne i aplikacje z pomocą AI, które interesuje wydajność inferencji oraz bezpieczeństwo procesu publikacji.
Lokalizacja
Oferty pracy z IT
Najnowsze ogłoszenia z tego samego działu, co wydarzenie.
