Знакомый маркетолог советовал после парсинга проверять ссылки на битые, если у конкурента много страниц с ошибкой 404, значит они забросили часть сайта и ты можешь сделать похожие страницы у себя и получить трафик который они потеряли. Это старая фишка но до сих пор работает.
