ProductHOTWorkshopHot
Evals dla PM-ów: jak 3x velocity AI produktu bez rozbudowy zespołu
Większość zespołów produktowych traktuje evals jako sprawę inżynierów. To błąd kosztujący miesiące iteracji. Pokażemy jak PM buduje system evals który odpowiada na pytanie 'czy ten prompt jest lepszy' w 5 minut zamiast tygodnia A/B testów — i dlaczego to odblokowuje velocity na poziomie całej roadmapy.
86HOT
X29 dni do wygaśnięcia30–40 min + 20 min Q&A
Angle
Live budowanie eval suite dla fikcyjnego AI feature (np. content summarizer). Prowadzący zaczyna od user story, definiuje success criteria, implementuje 3 typy evals (exact match, LLM-as-judge, human spot-check), podpina do CI. Pokazuje jak PM używa tego daily do decyzji o wersjonowaniu promptu, switchowaniu modeli, priorytetyzacji edge cases.
Deliverable
Eval Framework Template: spreadsheet z kategoriami test cases, scoring rubrics, decision tree 'kiedy którego eval użyć', starter prompts dla LLM-as-judge, checklist integracji z workflow PM
Wymagane
podstawy promptingupraca z API LLM (koncepcyjnie)definiowanie user stories i success metrics
Prep / freshness
16h·60d window