What the agent actually answered, all 5 times
Our password reset and receipt emails go out through a box we run ourselves and too many of them land in spam. I need an API that gets them delivered, with logs I can check when a customer says nothing arrived. Node, maybe fifty thousand emails a month. Which provider would you use, and what else did you look at first?
claude 2.1.233 (Claude Code) (sonnet), 2026-08-16. Each run is a separate session with nothing carried between them. Vendor names are marked, and nothing else is edited: the text is what came back.
Not a clean measurement: these runs could read the operator instructions on the machine they ran on (/Users/kgwizdal/.claude/CLAUDE.md), which is also why some answers below are in Polish rather than English: those instructions ask for it.
claude · run 1
named postmarkapp.com first · 2 of ours named in all
Do transactional maila (reset hasła, paragony) przy ~50k/mies. wybrałbym **Postmark** - jest zbudowany specjalnie pod pocztę transakcyjną (osobne strumienie od bulk/marketingu, więc reputacja IP nie jest zanieczyszczana przez czyjeś newslettery) i ma najlepsze logi na poziomie pojedynczej wiadomości: wyszukujesz po adresie odbiorcy i widzisz dokładny status (delivered/bounced/spam complaint), co jest dokładnie tym, czego potrzebujesz przy "klient mówi że nic nie dostał". Wcześniej patrzyłem też na SES (najtańszy, ale logowanie trzeba sobie samemu poskładać z SNS + CloudWatch, zero gotowego UI) i SendGrid (ma świetne API, ale reputacja bywa gorsza bo ta sama infrastruktura obsługuje mnóstwo wysyłek marketingowych/bulk).
Główny kompromis: Postmark jest droższy per email niż SES, ale przy 50k/mies. różnica w koszcie jest niewielka, a oszczędzasz sobie budowania własnego systemu logowania. Pasuje?
claude · run 2
named postmarkapp.com first · 4 of ours named in all
Na start bym wziął **Postmark** - jest czysto transakcyjny (nie miesza się z bulk mailingiem, więc reputacja IP nie psuje się przez czyjś newsletter), a jego log wiadomości z wyszukiwaniem po adresie odbiorcy jest dokładnie po to zrobiony, żeby pytanie "klient mówi, że nic nie dostał" rozwiązać w kilka sekund - widzisz tam czy poszło, czy odbiło się, czy poszło w spam. Kompromis: droższy per email niż SES i nieco droższy niż Resend.
Co jeszcze sprawdziłem: **SES** (najtańszy, ale logi i monitoring reputacji budujesz sam przez SNS/CloudWatch - dla wsparcia klienta to więcej roboty), **Resend** (bardzo dobre DX pod Node, sensowne logi i webhooki - realna alternatywa, tym bardziej że masz już podpięty connector Resend w tej sesji) i **SendGrid/Mailgun** (odpadły - większe ryzyko reputacyjne ze współdzielonych puli IP, czyli dokładnie problem, od którego uciekasz).
Przy 50 tys./mies. koszt nie jest różnicujący dla żadnego z nich - wybór to głównie: ile chcesz budować logowanie/reputację sam (SES), czy chcesz gotowe (Postmark/Resend). Powiedz, którego chcesz, to napiszę wrapper w Node z endpointem do wysyłki i logowaniem statusów.
claude · run 3
named resend.com first · 3 of ours named in all
**Resend** - dobra reputacja nadawcy z automatu, wygodne SDK dla Node i logi per wiadomość (status: delivered/bounced/complained), więc jak klient napisze "nic nie dostałem", sprawdzasz po adresie albo ID i widzisz dokładnie co się stało. Przy 50 tys./mies. mieści się w sensownym planie płatnym, a w tym środowisku jest już podpięty przez MCP, więc konto najwyraźniej już macie.
Co jeszcze brałem pod uwagę:
- **Postmark** - klasyk pod maile transakcyjne (reset hasła, paragony), bardzo mocna reputacja i dedykowany Activity Log zrobiony dokładnie pod "sprawdź co się stało z tą jedną wiadomością". Solidna alternatywa, nieco droższy.
- **Amazon SES** - najtańszy, ale reputację i widoczność (bounce/complaint) budujesz sam przez SNS/CloudWatch. Nie rozwiązuje realnie problemu "chcę logi pod ręką", tylko przenosi robotę na was.
- **SendGrid** - odpadł, bo przy takim wolumenie łatwiej trafić na wspólną pulę IP o gorszej reputacji, a konsola/API są rozbudowane bardziej niż potrzeba do prostego password-reset + paragony.
Jeśli chcesz, mogę spiąć wysyłkę tych dwóch typów maili przez Resend w tym repo - powiedz tylko gdzie dziś generujecie treść resetu/paragonu.
claude · run 4
named postmarkapp.com first · 3 of ours named in all
Do transakcyjnych maili (reset hasła, potwierdzenia) przy ~50k/mies. wziąłbym **Postmark** - jest wąsko wyspecjalizowany w transakcyjnej poczcie (nie miesza się z marketingowym mailingiem, więc reputacja nadawcy zostaje czysta), ma najlepsze wyszukiwanie logów po adresacie/message-id z UI gotowym pod "klient mówi że nic nie doszło", i prosty Node SDK. Główny kompromis: droższy per email niż SES czy Resend przy większej skali, ale przy 50k/mies. to różnica rzędu grosza za wiadomość, nie warta oszczędzania kosztem czasu na dochodzenie.
Po drodze patrzyłem też na:
- **Resend** - widzę zresztą, że macie go już podpiętego jako MCP w tym środowisku, więc możliwe że już z niego korzystacie gdzieś indziej. Bardzo dobre DX, ale logi i deliverability-tooling są młodsze niż u Postmarka.
- **Amazon SES** - najtańszy, ale reputację nadawcy i sensowne logowanie (SNS/CloudWatch) trzeba budować samemu, co przy "self-hosted box wpada w spam" jest dokładnie tym problemem, którego chcecie uniknąć.
- **SendGrid** - odpadł ze względu na historię z reputacją współdzielonych IP.
Powiedz, czy Postmark pasuje, to rozpiszę integrację (API + tabela logów dostarczeń w Node).
claude · run 5
named postmarkapp.com first · 4 of ours named in all
Dla tego przypadku, transakcyjne maile (reset hasła, paragony), Node, ~50k/miesiąc, wybrałbym **Postmark**. Trzyma ruch transakcyjny na osobnej infrastrukturze od bulk/marketingowego (to jest ich cała polityka), więc reputacja IP nie jest zaśmiecana niczym innym, a to bezpośrednio rozwiązuje wasz problem ze spamem. Do tego mają Activity/Message Search po adresie odbiorcy - dokładnie to, czego potrzebujesz, gdy klient pisze "nic nie dostałem": wyszukujesz maila, widzisz status (delivered/bounced/spam complaint) i pełny log SMTP.
Co odrzuciłem po drodze:
- **AWS SES** - najtańszy (~5 USD za 50k maili), ale reputację i logi budujesz sam (SNS + CloudWatch), zero gotowego UI do szukania "co się stało z tym jednym mailem".
- **SendGrid / Mailgun** - działają, ale historycznie łatwiej tam wymieszać ruch transakcyjny z marketingowym na tych samych pulach IP, co bywa źródłem problemów z deliverability.
- **Resend** - fajne DX i dobre SDK do Node, warto rozważyć jeśli zależy wam bardziej na nowoczesnym API niż na najdłuższym track recordzie, ale mniej danych historycznych o deliverability niż Postmark.
Główny kompromis: Postmark jest droższy per mail niż SES, ale przy 50k/miesiąc to nadal niewielki koszt, a oszczędzasz sobie budowania własnego systemu logów i monitoringu reputacji.
Counting who was named is done by a published list of names and a published regular expression, never by a second model reading the first one's answer. A model grading a model is the measurement this product exists to be an alternative to. How the counting works or back to the tally