Я роблю масштабне сканування веб-сайтів з 2020 року, тому я знаю всі трюки та використовую новітні технології для сканування майже всіх веб-сайтів.
Я розробник Python на повний робочий день, у мене є 2 роки досвіду роботи з веб-скрейпінгом, інтелектуальним аналізом даних, вилученням даних і API-скрейпінгом, працюю над широким спектром проектів. Я вже спарсив багато веб-сайтів, таких як (Amazon, Tabaoba, OLX, REALESTATE та інші)
Додаткова інформація
Інструменти чи технології: Requests, Selenium BeautifulSoap
Результати: Excel, CSV, JSON, XML, MySQL, MongoDB, SQLite
Інтерфейс (інтерфейс Tkinter)
API скрапінг
Telegram бот (якщо потрібно)
Методи вишкрібання:
️ Проксі для запобігання бану IP
️ Багатопотоковість для прискорення процесу парсингу
️ Ін’єкція файлів cookie для доступу до веб-сайтів, які потребують автентифікації.
️ Плюс багато хитрощів щодо веб-збирання, які я навчився за останні 2 роки