Смотри, для таких задач есть специальный инструмент, он сам обходит сайт и собирает все внутренние и внешние урлы в один список. Попробовать парсер ссылок можно на этом сайте . Вбиваешь адрес сайта конкурента и через пару минут получаешь полную карту страниц, что где лежит и как связано между собой. Это реально экономит время когда надо понять структуру чужого проекта а не сидеть и кликать по каждому разделу вручную.
