Роблю парсери під конкретну задачу: витягаю дані з сайтів, обробляю, валідовую, віддаю у зручному форматі (CSV, Excel, Google Sheets, JSON, база даних).
Які задачі типові:
— парсинг цін і залишків у конкурентів (моніторинг, динамічне ціноутворення);
— збір контактів компаній для B2B-продажів (з валідацією імейлів через SMTP-чек);
— парсинг оголошень з маркетплейсів, дошок (OLX, Prom, Rozetka, Amazon, eBay);
— збір новин, відгуків, коментарів, вакансій під подальший аналіз;
— вивантаження каталогу для міграції на нову CMS;
— моніторинг позицій у видачі (Google, Bing);
— парсинг соцмереж через офіційні API (Meta Graph, Twitter/X API, Telegram Bot API, TikTok Business).
Стек:
— Python: requests, httpx, aiohttp, Scrapy, Playwright / Selenium для JS-сайтів;
— обхід антибот-захисту — Cloudflare, Kasada, DataDome — через резидентні проксі і стелс-браузер;
— Node.js + Puppeteer — коли зручніше;
— очищення даних (pandas, regexp, normalization), дедуп, матчинг між джерелами;
— деплой як cron або webhook-endpoint, збереження у Postgres / MongoDB / Sheets.
Робота з етикою: не збираю приватні дані, поважаю robots.txt і rate limits, за потребою — взаємодія через API замість скрейпу. Оплата за результат (кількість записів) або за обʼєм роботи.