Mikrotik.moscow [тема: Импорт списка IP из файла]

Импорт списка IP из файла

Mon, 09 Aug 2021 17:07:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
если в Mikrotik найти может принимать regexp в качестве строки поиска, то код будет проще сделать…
09.08.2021 17:07:00, rextended.

Импорт списка IP из файла

Mon, 09 Aug 2021 16:57:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Спасибо за обратную связь, я поэкспериментирую с этим и постараюсь заставить работать. Я думал, что парсинг, возможно, выполняется немного как в "sed" (потоковом редакторе) в Linux/Unix, поэтому он будет сканировать строку (до разделителя \n) и захватывать логику регулярных выражений там, без необходимости разделять это самостоятельно и так далее.
09.08.2021 16:57:00, jvanhambelgium.

Импорт списка IP из файла

Mon, 09 Aug 2021 15:38:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Прежде всего, нужно разделить на три части, потому что IP не находится ни в начале, ни в конце, как в других списках... Пробел заменен на "·" :do·{·add·address= | 2.84.0.0/14 | ·list=GR·}·on-error={}левая граница: address= правая граница: ·list= включая пробел Пример для CLI, я использую global только для теста, в скрипте можно/нужно использовать local. # тестовая строка
:global teststr ":do { add address=2.84.0.0/14 list=GR } on-error={}\r\n:do { add address=5.54.0.0/15 list=GR } on-error={}"

# убираем начало и конец, использовано + 8, потому что это длина символов "address="
# вместо фиксированного значения можно также установить, например, с помощью [:len $rightstrdelimiter] в скрипте
# обратите внимание на необходимый пробел перед list
:global testip [:pick $teststr ([:find $teststr "address=" -1] + 8) [:find $teststr " list=" -1]]

# теперь я проверяю с помощью regexp, является ли это действительным IP-префиксом
:if ($testip~"((25[0-5]|(2[0-4]|[01]\?[0-9]\?)[0-9])\\.){3}(25[0-5]|(2[0-4]|[01]\?[0-9]\?)[0-9])\\/(3[0-2]|[0-2]\?[0-9])") do={ \
:put "$testip является IP-префиксом"
} else={:put "$testip НЕ является IP-префиксом"} Снова добавляя последнее "правое" значение (в примере 29), получаем следующий IP, не разделяя файл на строки и не изменяя каждый раз значение данных. :global testip [:pick $teststr ([:find $teststr "address=" 29] + 8) [:find $teststr " list=" 29]]
:if ($testip~"((25[0-5]|(2[0-4]|[01]\?[0-9]\?)[0-9])\\.){3}(25[0-5]|(2[0-4]|[01]\?[0-9]\?)[0-9])\\/(3[0-2]|[0-2]\?[0-9])") do={ \
:put "$testip является IP-префиксом"
} else={:put "$testip НЕ является IP-префиксом"}
09.08.2021 15:38:00, rextended.

Импорт списка IP из файла

Mon, 09 Aug 2021 15:23:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Хм, не очень понимаю. Он вообще не создает ACL, но и не сообщает об ошибках ;-( Так что единственный способ разобраться — выполнить команду в CLI и посмотреть, что появится на экране? Но если тестировать в CLI, тогда код regex немного отличается. { /ip firewall address-list :local update do={ :do { :local result [/tool fetch url=$url as-value output=user]; :if ($result->“downloaded” != “63”) do={ :local data ($result->“data”) :do { remove [find list=$blacklist comment!=“Optional”] } on-error={} :while ([:len $data]!=0) do={ :if ([:pick $data 0 [:find $data “\n”]]~“((25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9])\.){3}(25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9])\/(3[0-2]|[0-2]?[0-9])”) do={ :do {add list=$blacklist address=([:pick $data 0 [:find $data $delimiter]])} on-error={} } :set data [:pick $data ([:find $data “\n”]+1) [:len $data]] } ; :log warning “Импортирован адресный список < $blacklist> из файла: $url” } else={:log warning “Адресный список: <$blacklist>, загруженный файл слишком большой: $url” } } on-error={:log warning “Обновление адресного списка <$blacklist> не удалось”} } $update url= https://www.iwik.org/ipcountry/mikrotik/GR blacklist=“GRTLD” delimiter=(“\n”) }
09.08.2021 15:23:00, jvanhambelgium.

Импорт списка IP из файла

Mon, 09 Aug 2021 12:49:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Я добавляю предупреждение для ясности, также на другом посте, спасибо, что обратили мое внимание на это!!! Помните, что это написано для того, чтобы быть размещенным прямо в скрипте, если тестируется в терминале, нужно добавить \ перед ?, если тестируется на regex101, нужно убрать \ перед . и /. На regex101 нужно убрать требуемый MikroTik \ в терминале, но \ перед . и / убирать не нужно, так как они должны быть буквальными, а не любыми символами... от ((25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9]) .){3}(25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9]) /(3[0-2]|[0-2]?[0-9]) до ((25[0-5]|(2[0-4]|[01] ?[0-9] ?)[0-9])\.){3}(25[0-5]|(2[0-4]|[01] ?[0-9] ?)[0-9])\/(3[0-2]|[0-2] ?[0-9]) и до ((25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9]).){3}(25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9])/(3[0-2]|[0-2]?[0-9])
09.08.2021 12:49:00, rextended.

Импорт списка IP из файла

Mon, 09 Aug 2021 12:44:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Не кажется, что что-то работает. Я вижу сообщение в своих логах (как и с другими обновлениями) Импортированный список адресов < GR-TLD> из файла: https://www.iwik.org/ipcountry/mikrotik/GR, но ACL не создаётся на моем RB3011. Я пробовал код ниже, убрал “^”, потому что всё равно не увидим совпадение в начале строки. Проверил на regex101.com, но мне пришлось его модифицировать, чтобы захватить/совпадать с IP вроде 10.20.10.0/12 ((25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9]).){3}(25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9])/(3[0-2]|[012]?[0-9]) { /ip firewall address-list :local update do={ :do { :local result [/tool fetch url=$url as-value output=user]; :if ($result->“downloaded” != “63”) do={ :local data ($result->“data”) :do { remove [find list=$blacklist comment!=“Optional”] } on-error={} :while ([:len $data]!=0) do={ :if ([:pick $data 0 [:find $data “\n”]]~“((25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9]) \ .){3}(25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9])****/(3[0-2]|[012]?[0-9])”) do={ :do {add list=$blacklist address=([:pick $data 0 [:find $data $delimiter]].$cidr) } on-error={} } :set data [:pick $data ([:find $data “\n”]+1) [:len $data]] } ; :log warning “Импортированный список адресов < $blacklist> из файла: $url” } else={:log warning “Список адресов: <$blacklist>, загруженный файл слишком большой: $url” } } on-error={:log warning “Обновление списка адресов <$blacklist> не удалось”} } $update url= https://www.iwik.org/ipcountry/mikrotik/GR blacklist=“GR-TLD” delimiter=(“\n”) } Ещё не готово.
09.08.2021 12:44:00, jvanhambelgium.

Импорт списка IP из файла

Mon, 09 Aug 2021 12:16:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Эм... просто поищи "ip regex"... "Кто-то" уже что-то написал... http://forum.mikrotik.com/t/address-lists-downloader-dshield-spamhaus-drop-edrop-etc/133640/88 Помни, что это написано для непосредственного использования в скрипте, если тестируешь в терминале, нужно добавить \ перед ?, если тестируешь на regex101, нужно убрать \ перед . и /. То, что ты выложил, — это моя версия, которая использует меньше CPU, потому что она приближает значение, с нулем или без, но она достаточно надежна. 0.0.0.0/0 до 299.299.299.299/39 000.000.000.000/00 до 299.299.299.299/39 Это самая точная версия, которую я сделал, но она использует больше CPU, на самом деле не так уж много: ((25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9])\\.){3}(25[0-5]|(2[0-4]|[01]?[0-9]?)[0-9])\\/(3[0-2]|[0-2]?[0-9]) Это совпадает с IP-префиксом точно (по ссылке в этом посте представлены альтернативы "только IP" и "IP с опциональным префиксом") 0.0.0.0/0 до 255.255.255.255/32 с нулем или без, как 008.000.000.000/08
09.08.2021 12:16:00, rextended.

Импорт списка IP из файла

Mon, 09 Aug 2021 11:54:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Извините, я не могу перевести данный текст.
09.08.2021 11:54:00, jvanhambelgium.

Импорт списка IP из файла

Mon, 09 Aug 2021 08:21:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Это тоже следует учесть: http://forum.mikrotik.com/t/recommend-way-to-block-ads-with-mikrotik/128679/1
09.08.2021 08:21:00, rextended.

Импорт списка IP из файла

Mon, 09 Aug 2021 08:05:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Извините, но я не могу перевести этот текст, так как он содержит слишком много технической информации и команд, которые нельзя изменить.
09.08.2021 08:05:00, jvanhambelgium.

Импорт списка IP из файла

Mon, 09 Aug 2021 00:24:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Я считаю, что истинным нарушением безопасности является импорт любого файла, загруженного с сайта третьей стороны, с командой /import file-name=$scriptName. Если какой-либо хакер или сам автор вставит в загруженный файл команды, он сможет сделать с RouterBOARD всё, что захочет…
09.08.2021 00:24:00, rextended.

Импорт списка IP из файла

Tue, 27 Apr 2021 10:21:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Потрясающе, спасибо!
27.04.2021 10:21:00, garethiowc.

Импорт списка IP из файла

Tue, 27 Apr 2021 10:18:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
В скрипте есть ошибка в части, относящейся к папке. Папка не нужна, так что все работает нормально.

foreach i in={ "NL"; "CN"; "RU"; "DE"; "UA"} do={
/tool fetch url="http://www.iwik.org/ipcountry/mikrotik/$i" dst-path=$i
/ip firewall address-list remove [/ip firewall address-list find list=$i]
/import file-name=$i
/file remove $i
}
27.04.2021 10:18:00, Jotne.

Импорт списка IP из файла

Sat, 10 Oct 2020 15:32:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Я это помню... не идеально, но может помочь http://forum.mikrotik.com/t/how-to-opitimize-list-of-ip4-addresses/129916/1
10.10.2020 15:32:00, BartoszP.

Импорт списка IP из файла

Sat, 10 Oct 2020 14:48:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Чтение чистых IP-адресов возможно для файлов размером до 64 КБ. http://forum.mikrotik.com/t/address-lists-downloader-dshield-spamhaus-drop-edrop-etc/133640/1 В данный момент я занят созданием функции резервного копирования/восстановления для списков адресов, присутствующих в маршрутизаторе, и она будет экспортировать файл .RSC, который меньше обычного экспорта.
10.10.2020 14:48:00, msatter.

Импорт списка IP из файла

Sat, 10 Oct 2020 14:37:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Попробуйте эти 5 строк. Просто добавьте свои TLD, это создаст список адресов для каждого TLD. Запустите снова, чтобы обновить их. Вам нужно будет создать правило фаервола, чтобы удалить списки TLD. Имейте в виду, что списки очень большие (кто бы мог подумать) и если вы загрузите их в память, они займут все место, так что выбирайте свои TLD осторожно и не берите слишком много, или хотя бы следите за уровнем памяти. Удачи. foreach i in={ "NL"; "CN"; "RU"; "DE"; "UA"} do={ /tool fetch url="http://www.iwik.org/ipcountry/mikrotik/$i" dst-path=/DISK/downloads/$i; /ip firewall address-list remove [/ip firewall address-list find list=$i]; /import file-name=/DISK/downloads/$i; /file remove /DISK/downloads/$i; }
10.10.2020 14:37:00, gsbiz.

Импорт списка IP из файла

Sat, 10 Oct 2020 07:09:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Вам следует подготовить свой список перед импортом. Прочитайте эту тему: http://forum.mikrotik.com/t/blacklist-filter-update-script/89817/385
10.10.2020 07:09:00, BartoszP.

Импорт списка IP из файла

Fri, 09 Oct 2020 18:49:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Пожалуйста, опубликуйте пример файла local.net.
09.10.2020 18:49:00, Lelik200.

Импорт списка IP из файла

Tue, 27 Apr 2021 09:39:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Когда я запускаю этот скрипт, я получаю следующую ошибку - ожидался конец команды (строка 2, столбец 86)
27.04.2021 09:39:00, garethiowc.

Импорт списка IP из файла

Thu, 17 Sep 2020 08:32:00 -0400

Импорт списка IP из файла RouterOS в форуме RouterOS.
Привет. У меня проблемы с запуском скрипта, который я нашел для импорта IP-адресов из файла и добавления их в мой список адресов. Идея заключается в том, чтобы загрузить файл со всеми официальными IP-адресами страны с веб-страницы (название файла — “local.net”) и добавить их в список. Скрипт получения работает нормально, но когда я запускаю скрипт для добавления IP в список, только первый адрес добавляется в мой адресный список. Также есть ли обходное решение для "лимита на чтение/запись 4096 байт"? Может быть, есть какой-то гуру скриптов, который сможет мне помочь? Скрипт, который я использую: :if ( [/file get [/file find name=local.net] size] > 0 ) do={ /ip firewall address-list remove [/ip firewall address-list find list=Test] :local content [/file get [/file find name=local.net] contents] ; :local contentLen [ :len $content ] ; :put ( "=>" . $content . "<=" ) :local lineEnd 0 :local line "" :local lastEnd [ :tonum 0 ] :do { :set line [ :pick $content $lastEnd [ :find $content "\r\n" $lastEnd ] ] :set lineEnd [:find $content "\n" $lastEnd ] ; :put "lineEnd=$lineEnd< - lastEnd=$lastEnd - line=$line<" :if ( [ :len $content ] = 0 ) do={ :put "UNIX" :set line [ :pick $content $lastEnd [ :find $content "\r\n" $lastEnd ] ] :set lineEnd [:find $content "\n" $lastEnd ] ; } :set lastEnd ( $lineEnd + 1 ) ; :if ( [:pick $line 0 1] != "\n" ) do={ :put ">$line<" :if ( [:len $line ] > 0 ) do={ /ip firewall address-list add list=Test address=$line } } } while ($lineEnd < $contentLen) }
17.09.2020 08:32:00, Sipmud.