one commit

2024-09-28 01:00:13 +10:00
parent 551e8db291
commit 4392043362
9 changed files with 79168 additions and 0 deletions
@@ -0,0 +1,115 @@
+#!/usr/bin/python3
+
+import re
+import os
+import sys
+import net_tree
+import requests
+
+# массив выгружаемых списков
+ip_list = {
+    'RU': [
+        { 'url': 'https://stat.ripe.net/data/country-resource-list/data.json?resource=RU', 'type': 'ipv4' },
+        { 'url': 'https://ipv4.fetus.jp/ru.txt', 'type': 'ipv4' },
+        { 'url': 'https://github.com/ipverse/rir-ip/blob/master/country/ru/ipv4-aggregated.txt', 'type': 'ipv4' }
+    ],
+    'GOOGLE': [
+        { 'url': 'https://bgp.he.net/AS15169#_prefixes', 'type': 'ipv4' },
+        { 'url': 'https://ipinfo.io/widget/demo/AS15169?dataset=asn', 'type': 'ipv4' },
+        { 'url': 'https://api.hackertarget.com/aslookup/?q=AS15169', 'type': 'ipv4' },
+        { 'url': 'https://www.gstatic.com/ipranges/goog.json', 'type': 'ipv4' }
+    ],
+    'RKN': [
+        { 'url': 'https://reestr.rublacklist.net/api/v3/ips/', 'type': 'ipv4' },
+        { 'url': 'https://antifilter.network/download/ip.lst', 'type': 'ipv4' },
+    ],
+    'MSFT': [
+        { 'url': 'https://bgp.he.net/AS8075#_prefixes', 'type': 'ipv4' },
+        { 'url': 'https://ipinfo.io/widget/demo/AS8075?dataset=asn', 'type': 'ipv4' },
+        { 'url': 'https://api.hackertarget.com/aslookup/?q=AS8075', 'type': 'ipv4' },
+    ],
+    'VALVE': [
+        { 'url': 'https://bgp.he.net/AS32590#_prefixes', 'type': 'ipv4' },
+        { 'url': 'https://ipinfo.io/widget/demo/AS32590?dataset=asn', 'type': 'ipv4' },
+        { 'url': 'https://api.hackertarget.com/aslookup/?q=AS32590', 'type': 'ipv4' },
+    ]
+#    'AMAZONE': [
+#        { 'url': 'https://bgp.he.net/AS16509#_prefixes', 'type': 'ipv4' },
+#        { 'url': 'https://ipinfo.io/widget/demo/AS16509?dataset=asn', 'type': 'ipv4' },
+#        { 'url': 'https://api.hackertarget.com/aslookup/?q=AS16509', 'type': 'ipv4' },
+#    ]
+}
+
+def list_ip(c_list: dict = []):
+    for c_url in c_list:
+        try:
+            result = requests.get(c_url['url'])
+            if result.status_code == 200:
+                print(f"URL: {c_url['url']}")
+                # обработка ipv4
+                if c_url['type'] == 'ipv4':
+                    # выполняем поиск по регулярному выражению ipv4
+                    ipv4_list=re.finditer(r"[^0-9.](25[0-5]|2[0-4][0-9]|[1-9][0-9][0-9]?|[0-9])\.(25[0-5]|2[0-4][0-9]|[1-9][0-9][0-9]?|[0-9])\.(25[0-5]|2[0-4][0-9]|[1-9][0-9][0-9]?|[0-9])\.(25[0-5]|2[0-4][0-9]|[1-9][0-9][0-9]?|[0-9])(/([0-9]{1}[0-9]*))*[\r\n$\"',]+", result.text)
+                    # строим дерево
+                    Root = net_tree.Node(net_tree.Net(0,0), 0)
+                    # пробегаем в цикле
+                    for c in ipv4_list:
+                        # готовим данные для добавление в дерево
+                        ip = 0
+                        for i in range(1, 5):
+                            ip = ip * 256 + int(c.group(i))
+                        if c.group(6):
+                            mask_size = int(c.group(6))
+                        else:
+                            mask_size = 32
+                        # добавляем запись в дерево
+                        Root.addSubnet(net_tree.Node(net_tree.Net(ip, mask_size), 1))
+
+                    Root.finishTreeFirst()
+                    # жесткое сжатие в размер 30000 записей
+                    #Root.collapseRoot(Root.real_ip_records_count - 30000)
+                    # более мягкое сжатие
+                    Root.collapse(1,Root.real_ip_records_count)
+                    # возвращаем результат
+                    res = Root.returnCollapsedTree('route {addr}/{masklen} blackhole;')
+                    # рузультат поиска не пустой
+                    if res:
+                        print("Успешно")
+                        return Root.real_ip_records_count, res
+                    # результат поиска пустой
+                    print("Список пуст")
+                # обработка ipv6
+                if c_url['type'] == 'ipv6':
+                    return False
+                break;
+            # результат запроса к url пустой
+            print("Ошибка соединения")
+        except Exception as e:
+            # исключение
+            print(f"Ошибка: {e}")
+    return False, False
+
+# главная фукция
+if __name__ == "__main__":
+    # создаем дерриктори. для сохранения
+    outdir=os.path.join(os.path.dirname(os.path.realpath(__file__)), 'unloading')
+    if not os.path.exists(outdir):
+        os.makedirs(outdir,exist_ok=True)
+    # обходим массив списков для выкрузки
+    for list in ip_list:
+         # имя выходного файла
+         out_file=f"{outdir}/{list.lower()}.txt"
+         # вычисляем кол-во записей прошлой выгрузки
+         if os.path.isfile(out_file):
+             old_load_count = sum(1 for line in open(out_file))
+         else:
+             old_load_count = 0
+         # выполняем выгрузку
+         print(f"Выгружаю список IP: {list}")
+         load_count, load_list=list_ip(ip_list[list])
+         if load_count and load_list and load_count >= old_load_count * 0.7:
+             # сохраняем в файл
+             with open(out_file, "w") as file:
+                 file.write(load_list)
+             print(f"Файл {out_file} сохранён")
+         print("")