Парсер баз сайтов на WordPress: исходный код на Python — SEO, аутрич, контакты

ПАРСЕР БАЗ САЙТОВ НА WORDPRESS НА ИСХОДНИКАХ PYTHON

Полный исходный код парсера сайтов: обходит затравку (URL, sitemap.xml или ссылки со страниц), определяет WordPress и его версию, собирает контакты для outreach (e-mail, телефон, соцсети), язык и тематику — и выгружает готовую базу в Excel или CSV.

Зачем: «База сайтов на WordPress» — самый продаваемый датасет на площадке (3576 ₽ × 844 продажи). Этот парсер создаёт такие базы под любую нишу — дешевле одной готовой выгрузки.

ЧТО ВНУТРИ:
• wp_cli.py — CLI: затравка --seeds, sitemap --sitemap, снежный обход --depth, потоки --workers, прокси --proxy, демо --demo
• wp_core.py — вся логика: определение CMS, контакты, язык, фильтры, экспорт
• test_wp_core.py — 79 автотестов, запускаются одной командой
• fixtures/demo_sites.json — примеры сайтов для проверки без сети
• requirements.txt, README, GUIDE.pdf

ЧТО ОПРЕДЕЛЯЕТ:
• WordPress по REST-маркеру (rel=«https://api.w.org/»), X-Pingback, meta generator — с версией, например 6.4.2
• Не-WordPress CMS: Joomla, Drupal, Bitrix, OpenCart, PrestaShop, Magento, Tilda, MODX, Wix, Squarespace
• E-mail: из текста страницы, mailto: и публичного RDAP/Whois; мусор отбрасывается
• Телефоны: канонизация 8 XXX и +7 XXX → +7XXXXXXXXXX, федеральный 9XX → +79XXXXXXXXX
• 14 соцсетей: Telegram, VK, WhatsApp, Viber, OK, YouTube, Instagram, Facebook, X, LinkedIn, TikTok, Дзен, RuTube
• Язык и регион страницы

ЧТО УМЕЕТ:
• Обходить sitemap.xml (включая sitemap-index из десятков файлов)
• Снежный обход: собирать новые сайты по ссылкам с уже найденных
• Вежливо работать: задержка между запросами, чтение robots.txt, лимит очереди
• Фильтровать: только WordPress, с e-mail, по языку/региону, по ключевым словам тематики (слово = 1 балл, фраза = 3)
• Экспортировать в XLSX (лист «База» с фильтрами + лист «Сводка») и CSV (открывается в Excel и Google Sheets)

ДЛЯ КОГО:
SEO-специалисты и линкбилдеры, владельцы PBN, агентства, собирающие базы для рассылок и аутрича. Все, кому нужны релевантные сайты с реальными контактами.

ФОРМАТ: исходники .py (CLI + ядро + тесты) + fixtures + PDF-гайд. Мгновенная выдача файла после оплаты.

ТРЕБОВАНИЯ: Python 3.9+. Тесты работают без интернета — на встроенных фикстурах.

ВВОД-ВЫВОД: список URL или sitemap → Excel/CSV с базой сайтов: хост, CMS, версия, e-mail, телефон, соцсети, язык, оценка тематики.

ПРОВЕРКА: python test_wp_core.py → 79 passed, 0 failed. Демо без сети: python wp_cli.py --demo --out demo.xlsx → 8 сайтов, 5 WordPress, 4 с e-mail.

ЛИЦЕНЗИЯ: использование в своих проектах без ограничений, продажа собранных баз разрешена. Перепродажа кода запрещена.

ЕЩЁ ИЗ МАГАЗИНА:
⟶ Парсер объявлений Avito: поиск, цены, мониторинг — e-market.su /6174776
⟶ Парсер конкурентов Wildberries + Ozon: цены и остатки в Excel — e-market.su /6155438
⟶ Прибыль продавца e-market.su PRO: Excel-калькулятор — e-market.su /6164461