Wroclaw Open Source Meetup #19Benchmarki LLM oraz badanie podatności embedded z Renode i Ghidra
O wydarzeniu
Wroclaw Open Source Meetup wraca po przerwie wakacyjnej z dziewiętnastą edycją. Spotkanie organizowane przez Antmicro łączy dwie perspektywy pracy z otwartymi technologiami: ocenę możliwości dużych modeli językowych oraz analizę bezpieczeństwa oprogramowania urządzeń embedded. Prezentacje odbędą się po angielsku, a program obejmuje pytania do prelegentów i rozmowy z lokalną społecznością technologiczną.
Jan Tacakiewicz z Antmicro przedstawi „Brief overview of large language model benchmarks”. Omówi sposoby testowania rozumowania, wiedzy, programowania i zadań wykonywanych przez agentów AI. Przyjrzy się projektowaniu zestawów testowych, ich ograniczeniom oraz problemom zanieczyszczenia danych, przenikania danych testowych do treningu, dezaktualizacji benchmarków i obchodzenia założeń testów. Prezentacja uwzględnia również kierunki rozwoju bardziej miarodajnej oceny modeli.
Dawid Pietrykowski z Antmicro poprowadzi „Abstracting The Hardware: Bridging Renode and Ghidra for Embedded Vulnerability Research”. Pokaże, jak połączenie symulacji Renode i analizy w Ghidra pomaga badać firmware bez fizycznej płytki. Punktem wyjścia są ograniczenia pracy ze sprzętem, takie jak brak dostępu do JTAG, długi rozruch czy ryzyko uszkodzenia urządzenia. Tematy obejmują śledzenie wykonania, pracę z pamięcią i analizę podatności w symulowanym środowisku.
Agenda, 8 października 2026:
- 18:00–18:30 — rejestracja i kawa.
- 18:30–20:15 — dwie prezentacje i sesje pytań i odpowiedzi.
- 20:15–22:00 — afterparty z ciepłym i zimnym posiłkiem oraz napojami, sponsorowane przez Antmicro.
Spotkanie odbywa się w sali Widok w Concordia Design Wrocław, przy Wyspie Słodowej 7. Udział jest bezpłatny i wymaga zapisania się na oficjalnej stronie Meetup; na liście uczestników należy podać imię i nazwisko. Wydarzenie jest przeznaczone dla osób pełnoletnich. Organizator informuje o wykonywaniu zdjęć i nagrań podczas spotkania.
Czego się dowiesz
- Jak benchmarki oceniają rozumowanie, wiedzę, kodowanie i pracę agentów opartych na LLM.
- Jak projektuje się zestawy testowe dopasowane do konkretnych obszarów zastosowania modeli.
- Jak zanieczyszczenie danych, przecieki i dezaktualizacja testów wpływają na wiarygodność oceny LLM.
- Jak połączyć symulację Renode z analizą firmware w Ghidra.
- Jak badać oprogramowanie embedded bez bezpośredniego dostępu do fizycznej płytki.
- Jak wykorzystać śledzenie wykonania i analizę pamięci w badaniu podatności firmware.
Dla kogo?
Dla programistów, inżynierów embedded, badaczy bezpieczeństwa, osób pracujących z modelami językowymi oraz entuzjastów open source. Spotkanie zainteresuje osoby, które chcą lepiej interpretować wyniki benchmarków AI lub poznać zastosowanie symulacji i narzędzi analizy firmware. Prezentacje prowadzone są po angielsku.
Lokalizacja
Oferty pracy z IT
Najnowsze ogłoszenia z tego samego działu, co wydarzenie.
