Prompt Engineer / Agent LLM Specialist
DCG sp. z o.o.
25200-27700 PLN miesięcznie (B2B)
Czym będziesz się zajmować?
Zakres obowiązków:
- Projektowanie promptów odpornych na halucynacje; separacja trusted/untrusted danych
- Modularne prompty: role, instrukcje, constraints, output schema; reużywalność, parametryzacja, wersjonowanie
- System promptów dla agentów z dostępem do narzędzi; precyzyjne opisy narzędzi (tool descriptions)
- Projektowanie outputów zgodnych z downstream: JSON, schematy decyzyjne, tabele, walidowalne struktury
- Orkiestracja multi-agent: wzorce supervisor/worker, specjalizacja agentów
- Zarządzanie kontekstem w długich trajektoriach: kompresja, podsumowania, strategie pamięci
- Prompty dla RAG: wzorce cytowania, grounding na źródłach, obsługa "brak danych"
- Projekt strategii retrievalu i kompresji kontekstu pod use case
- Budowa golden datasets i eval setów dla promptów i trajektorii agentowych
- Definicja i mierzenie metryk: jakość odpowiedzi, task success rate, tool-call accuracy, jakość trajektorii, stabilność, koszt, czas
- LLM-as-a-judge: stosowanie z uwzględnieniem ograniczeń i bias
- Regression testing przy zmianach promptów/modeli/API; udział w UAT
- Praca z Braintrust, LangSmith, Langfuse, Promptfoo lub własnymi harnessami ewaluacyjnymi
- Identyfikacja i mitigacja ryzyk: prompt injection, data exfiltration przez tool use, jailbreaks, ujawnienie danych
Kogo poszukujemy?
Wymagania:
- Doświadczenie w projektach z agentowymi systemami LLM w środowisku regulowanym (np. bankowość) obejmujących PoC, pilotaż i UAT
- Praktyczna znajomość Azure OpenAI w środowisku enterprise oraz doświadczenie z modelami reasoningowymi (np. o-series, Claude Extended Thinking)
- Projektowanie i rozwój promptów jako "prompt as code" — wersjonowanie w Git, code review, CI/CD, testy regresyjne, środowiska dev/test/prod
- Projektowanie modularnych promptów i architektur agentowych (ReAct, planning, self-check, multi-agent orchestration)
- Znajomość RAG i grounding — projektowanie rozwiązań opartych na źródłach wiedzy, regulacjach, procedurach i dokumentach klienta
- Tworzenie promptów odpornych na halucynacje, prompt injection i inne ryzyka bezpieczeństwa
- Integracja rozwiązań AI z systemami biznesowymi oraz narzędziami orkiestracji agentów
- Metody ewaluacji modeli i promptów: golden datasets, eval sets, regression testing, LLM-as-a-judge, metryki jakości i stabilności
- Praktyka z narzędziami typu LangSmith, Langfuse, Braintrust, Promptfoo lub własnymi frameworkami ewaluacyjnymi
- Analiza trace'ów agentów, debugowanie failure modes i iteracyjne ulepszanie na podstawie danych runtime
Czego wymagamy?
Znajomości:
Mile widziane:
Języki:
- Polski
- Angielski
Jakie warunki i benefity otrzymasz?
- 150-165 PLN godzinowo (B2B)
- B2B - Elastyczne godziny pracy (100%)
- Praca zdalna: Hybrydowo
- Budżet szkoleniowy, Szkolenia wewnętrzne
- Pakiet medyczny, Pakiet sportowy
Gdzie będziesz pracował?
centrum, Warszawa lub hybrydowo
Kim jesteśmy? – DCG sp. z o.o.
DCG to przestrzeń, w której spotykają się potrzeby biznesu i ambicje ludzi. Znamy wartość dobrze dopasowanej współpracy, dlatego pomagamy kandydatom znaleźć środowisko, w którym będą mogli rozwinąć skrzydła, a firmom - zbudować zespoły, które naprawdę działają. Pracujemy blisko ludzi i organizacji, uważnie słuchając i reagując na to, co dla nich ważne. Dzięki temu wspólnie tworzymy trwałe i wartościowe relacje, które procentują na lata.