Copied from arcadia

.scripts/combine_payloads.py

@@ -0,0 +1,54 @@
+import os
+import requests
+
+# Список URL для загрузки
+file_urls = [
+    "https://example.com/file1.txt",
+    "https://example.com/file2.txt",
+]
+
+# Папка для сохранения файлов
+download_folder = "downloads"
+os.makedirs(download_folder, exist_ok=True)
+
+# Функция для удаления строки 'payload:' и удаления дубликатов
+def process_file(file_path):
+    with open(file_path, "r") as f:
+        lines = f.readlines()
+
+    # Удалить строки с "payload:" и убрать дубликаты
+    unique_lines = []
+    seen_lines = set()
+    for line in lines:
+        if "payload:" in line:
+            continue
+        if line not in seen_lines:
+            unique_lines.append(line)
+            seen_lines.add(line)
+        else:
+            unique_lines.append(f"# {line.strip()}\n")  # Комментировать дубликат
+
+    # Записать обратно в файл
+    with open(file_path, "w") as f:
+        f.writelines(unique_lines)
+
+# Скачивание файлов и обработка
+for url in file_urls:
+    file_name = os.path.basename(url)
+    file_path = os.path.join(download_folder, file_name)
+
+    # Скачивание файла
+    print(f"Downloading {url}...")
+    response = requests.get(url)
+    if response.status_code == 200:
+        with open(file_path, "wb") as f:
+            f.write(response.content)
+        print(f"Saved to {file_path}")
+
+        # Обработка файла
+        print(f"Processing {file_path}...")
+        process_file(file_path)
+    else:
+        print(f"Failed to download {url} (Status Code: {response.status_code})")
+
+print("All files processed.")