AutoBackups Project

Overview

AutoBackups is a Python application designed to automate the backup of Simatic S7 projects and other user-defined directories. The application leverages the Everything API to efficiently locate files and manage backups based on user-defined configurations.

Features

• Monitors specified directories for Simatic S7 files (*.s7p) and other user-defined directories.
• Automatically compresses and backs up projects on a configurable schedule (daily, hourly, 3-hour, 7-hour intervals, startup, or manual).
• Supports manual backup triggers.
• Skips projects with files in use and retries after one hour.
• Maintains a two-stage hash system: first checking *.s7p files, then all files to avoid unnecessary backups.
• User-friendly web interface built with Flask for configuration and status monitoring.
• Comprehensive logging system with timestamped log files.

Project Structure

├── .logs/                    # Application logs with startup timestamps
├── src
│   ├── app.py                # Main entry point of the Flask application
│   ├── models
│   │   └── __init__.py       # Data models for configuration and directories
│   ├── routes
│   │   └── __init__.py       # API routes for backup operations
│   ├── services
│   │   └── __init__.py       # Business logic for backups
│   └── utils
│       └── __init__.py       # Utility functions for hashing and file access
├── static
│   ├── css                   # CSS files for styling
│   └── js                    # JavaScript files for client-side functionality
├── templates
│   └── index.html            # Main HTML template for the web interface
├── config.json               # Global configuration settings for the application
├── projects.json             # Per-project configuration, schedules, and hash storage
├── requirements.txt          # Python dependencies
└── README.md                 # Project documentation

Installation

1. Clone the repository:

   git clone <repository-url>
   cd autobackups
   

2. Create a Miniconda environment:

   conda create --name autobackups python=3.12
   conda activate autobackups
   

3. Install the required packages:

   pip install -r requirements.txt
   

4. Configure the application by editing config.json to specify directories to monitor and backup settings.

Usage

• Start the Flask application:

  python src/app.py
  

• Access the web interface at http://localhost:5120 to configure settings and monitor backup statuses.

Contributing

Contributions are welcome! Please submit a pull request or open an issue for any enhancements or bug fixes.

License

This project is licensed under the MIT License. See the LICENSE file for details.

AutoBackups - Especificación Técnica Detallada

Resumen Ejecutivo

AutoBackups es una aplicación Python que automatiza el backup de proyectos Simatic S7 y directorios definidos por el usuario, utilizando la API de Everything para búsqueda eficiente de archivos y un sistema de hash inteligente para evitar backups innecesarios.

Arquitectura del Sistema

1. Componentes Principales

1.1 Motor de Búsqueda (Everything API)

• Librería: PyEverything wrapper
• DLL Local: Everything-SDK\dll\Everything64.dll
• Función: Localizar archivos *.s7p en directorios de observación
• Optimización: Evitar último nivel del árbol para archivos .s7p
• Ventaja: Aprovecha el índice existente de Everything para búsquedas instantáneas

1.2 Sistema de Hash en Dos Etapas

Etapa 1: Hash rápido de archivos *.s7p

• Solo verifica MD5 de (timestamp + tamaño) de archivos .s7p
• Si no hay cambios → no se procede con backup
• Si hay cambios → procede a Etapa 2

Etapa 2: Hash completo del proyecto

• Calcula MD5 de (timestamp + tamaño) de todos los archivos del directorio
• Compara con último hash almacenado
• Solo hace backup si hay diferencias

1.3 Scheduler de Background

• daily: Una vez al día a hora configurada
• hourly: Cada hora
• 3-hour: Cada 3 horas
• 7-hour: Cada 7 horas
• startup: Al iniciar la aplicación
• manual: Solo bajo demanda del usuario
• Escaneos: Automáticos cada 1 hora
• Backups: Mínimo cada 10 minutos
• Prioridad: Baja prioridad de sistema

2. Estructura de Datos

2.1 config.json (Configuración Global)

{
  "observation_directories": [
    {
      "path": "C:\\Projects\\Siemens",
      "type": "siemens_s7",
      "enabled": true,
      "description": "Directorio principal de proyectos Siemens"
    },
    {
      "path": "D:\\Engineering\\Projects", 
      "type": "siemens_s7",
      "enabled": true,
      "description": "Proyectos de ingeniería adicionales"
    },
    {
      "path": "C:\\Important\\Documentation",
      "type": "manual",
      "enabled": true,
      "description": "Documentación importante para backup manual"
    }
  ],
  "backup_destination": "D:\\Backups\\AutoBackups",
  "global_settings": {
    "default_schedule": "daily",
    "default_schedule_time": "02:00",
    "retry_delay_hours": 1,
    "backup_timeout_minutes": 0,
    "min_free_space_mb": 100,
    "scan_interval_minutes": 60,
    "min_backup_interval_minutes": 10
  },
  "everything_api": {
    "dll_path": "Everything-SDK\\dll\\Everything64.dll",
    "enabled": true,
    "search_depth": -1,
    "skip_last_level_for_s7p": true
  },
  "web_interface": {
    "host": "127.0.0.1",
    "port": 5000,
    "debug": false
  },
  "logging": {
    "level": "INFO",
    "max_log_files": 30,
    "log_rotation_days": 30
  },
  "backup_options": {
    "compression_level": 6,
    "include_subdirectories": true,
    "preserve_directory_structure": true,
    "hash_algorithm": "md5",
    "hash_includes": ["timestamp", "size"],
    "backup_type": "complete",
    "process_priority": "low",
    "sequential_execution": true,
    "filename_format": "HH-MM-SS_projects.zip",
    "date_format": "YYYY-MM-DD"
  }
}

2.2 projects.json (Estado de Proyectos)

{
  "metadata": {
    "version": "1.0",
    "last_updated": "2025-09-01T08:30:15Z",
    "total_projects": 0
  },
  "projects": [
    {
      "id": "example_project_001",
      "name": "PLC_MainLine_Example",
      "path": "C:\\Projects\\Siemens\\LineA\\Project1",
      "type": "siemens_s7",
      "s7p_file": "C:\\Projects\\Siemens\\LineA\\Project1\\project.s7p",
      "observation_directory": "C:\\Projects\\Siemens",
      "relative_path": "LineA\\Project1",
      "backup_path": "LineA\\Project1",
      "schedule_config": {
        "schedule": "daily",
        "schedule_time": "02:00",
        "enabled": true,
        "next_scheduled_backup": "2025-09-02T02:00:00Z"
      },
      "backup_history": {
        "last_backup_date": "2025-09-01T02:15:30Z",
        "last_backup_file": "D:\\Backups\\AutoBackups\\LineA\\Project1\\2025-09-01\\02-15-30_projects.zip",
        "backup_count": 5,
        "last_successful_backup": "2025-09-01T02:15:30Z"
      },
      "hash_info": {
        "last_s7p_hash": "abc123def456789",
        "last_full_hash": "def789ghi012345",
        "last_s7p_timestamp": "2025-08-31T14:30:00Z",
        "last_s7p_size": 2048576,
        "last_scan_timestamp": "2025-09-01T02:10:00Z",
        "file_count": 1247,
        "total_size_bytes": 125847296
      },
      "status": {
        "current_status": "ready",
        "last_error": null,
        "retry_count": 0,
        "next_retry": null,
        "files_in_use": false,
        "exclusivity_check_passed": true,
        "last_status_update": "2025-09-01T02:15:35Z"
      },
      "discovery_info": {
        "discovered_date": "2025-09-01T08:30:15Z",
        "discovery_method": "everything_api",
        "auto_discovered": true
      }
    }
  ],
  "statistics": {
    "total_backups_created": 15,
    "total_backup_size_mb": 2450.5,
    "average_backup_time_seconds": 45.2,
    "last_global_scan": "2025-09-01T08:30:15Z",
    "projects_with_errors": 0,
    "projects_pending_retry": 0
  }
}

3. Flujo de Operación

3.1 Inicio de Aplicación

1. Cargar configuración desde config.json
2. Cargar estado de proyectos desde projects.json
3. Inicializar logger con timestamp de inicio
4. Escanear directorios de observación usando Everything API
5. Actualizar lista de proyectos detectados
6. Iniciar scheduler
7. Iniciar interfaz web Flask

4.2 Proceso de Backup

1. Verificación de Espacio: Verificar mínimo 100MB libres
2. Verificación de Acceso .s7p: Intentar comprimir solo archivo .s7p
3. Hash Etapa 1: Verificar MD5 de (timestamp + tamaño) del archivo .s7p
4. Hash Etapa 2: Si Etapa 1 detecta cambios, verificar hash completo
5. Compresión: Crear archivo ZIP con estructura específica preservada
6. Almacenamiento: Guardar en backup_destination/ProjectPath/YYYY-MM-DD/HH-MM-SS_projects.zip
7. Actualización: Actualizar hashes y timestamps en projects.json

3.3 Gestión de Errores

• Archivos en uso: Marcar proyecto para reintento en 1 hora
• Errores de permisos: Log de error y notificación en interfaz
• Errores de espacio: Verificar espacio disponible antes de backup

4. Interfaz Web

4.1 Dashboard Principal

• Lista de Proyectos: Tabla con estado, último backup, próximo backup
• Controles Globales: Backup manual global, pausar/reanudar scheduler
• Estadísticas: Total de proyectos, backups exitosos, errores

4.2 Configuración de Proyectos

• Habilitación/Deshabilitación: Toggle por proyecto
• Configuración de Schedule: Dropdown con opciones de frecuencia
• Backup Manual: Botón de backup inmediato por proyecto

4.3 Logs y Monitoreo

• Log Viewer: Mostrar logs recientes con filtros por nivel
• Estado del Sistema: Información de Everything API, espacio en disco

5. Estructura de Backup

5.1 Nomenclatura de Archivos (Estructura Específica)

backup_destination/
├── LineA/
│   └── Project1/
│       ├── 2025-09-01/
│       │   ├── 02-15-30_projects.zip
│       │   └── 14-30-15_projects.zip
│       └── 2025-09-02/
│           └── 02-15-45_projects.zip
└── LineB/
    └── Project2/
        └── 2025-09-01/
            └── 08-20-10_projects.zip

5.2 Contenido del ZIP

02-15-30_projects.zip
└── LineA/
    └── Project1/
        ├── project.s7p
        ├── subfolder1/
        └── subfolder2/

6. Tecnologías y Librerías

6.1 Python Core

• Python: 3.12
• Framework Web: Flask
• Scheduler: APScheduler
• Compresión: zipfile (biblioteca estándar)

6.2 Librerías Específicas

• Everything API: PyEverything wrapper con DLL local
• Hashing: hashlib MD5 para (timestamp + tamaño)
• Config: json (biblioteca estándar)
• Logging: logging (biblioteca estándar)
• File Access Check: Intento de compresión + verificación .s7p
• Process Priority: pywin32 para baja prioridad
• Disk Space: psutil para monitoreo de espacio libre

6.3 Frontend

• HTML/CSS/JavaScript: Vanilla (sin React por simplicidad)
• AJAX: Para comunicación con Flask API
• Bootstrap: Para estilizado responsivo

7. Consideraciones de Seguridad

7.1 Acceso a Archivos

• Verificación de permisos antes de backup
• Manejo seguro de rutas para evitar path traversal
• Logs de todos los accesos a archivos

7.2 Interfaz Web

• Solo acceso local (127.0.0.1)
• No autenticación requerida (uso local únicamente)
• Validación de inputs en formularios

8. Logging y Monitoreo

8.1 Estructura de Logs

.logs/
├── autobackups_2025-09-01_08-30-15.log
├── autobackups_2025-09-02_08-30-22.log
└── ...

8.2 Niveles de Log

• INFO: Inicio/fin de backups, descubrimiento de proyectos
• WARNING: Archivos en uso, reintentos
• ERROR: Fallos de backup, errores de configuración
• DEBUG: Detalles de hashes, operaciones de archivos

9. Instalación y Despliegue

9.1 Entorno Miniconda

conda create --name autobackups python=3.12
conda activate autobackups
pip install -r requirements.txt

9.2 Ejecución

• Desarrollo: python src/app.py
• Producción: pythonw.exe src/app.py (sin consola)
• Como servicio: Futuro enhancement con python-windows-service

10. Roadmap de Desarrollo

Fase 1: Core Backend

• Integración con Everything API
• Sistema de hash en dos etapas
• Motor de backup básico
• Scheduler con APScheduler

Fase 2: Interfaz Web

• Dashboard básico con Flask
• API REST para operaciones CRUD
• Frontend con HTML/JS/Bootstrap

Fase 3: Características Avanzadas

• Logs web viewer
• Configuración avanzada de directorios
• Estadísticas y reportes

Fase 4: Optimizaciones

• Ejecución como servicio Windows
• Notificaciones por email
• Backup incremental

Este documento será la base para el desarrollo del proyecto AutoBackups.

AutoBackups - Preguntas Técnicas Pendientes

Preguntas Críticas para el Desarrollo

1. Everything API - Integración

Pregunta: ¿Everything está instalado y funcionando en el sistema objetivo? Impacto: Si no está disponible, necesitaremos un método alternativo de búsqueda de archivos. Opciones:

• Usar python-everything si Everything está disponible
• Implementar búsqueda recursiva con os.walk() como fallback
• Usar pathlib con glob patterns

Decisión necesaria: ¿Podemos asumir que Everything estará disponible o necesitamos fallback?

2. Estructura de Backup - Clarificación de Rutas

Pregunta: Si tenemos un archivo en C:\Projects\Siemens\LineA\Project1\project.s7p, ¿el backup debe ser? Opción A:

backup_destination/2025-09-01_14-30-15/Projects_Siemens_LineA_Project1.zip
└── Projects/Siemens/LineA/Project1/...

Opción B:

backup_destination/2025-09-01_14-30-15/LineA_Project1.zip
└── LineA/Project1/...

Decisión necesaria: ¿Qué estructura prefieres?

3. Configuración de Schedules - Granularidad

Pregunta: ¿Los schedules deben ser configurables a nivel de:

• Por directorio de observación (todos los proyectos de un directorio)
• Por proyecto individual
• Ambos (global con override por proyecto)

Decisión necesaria: ¿Qué nivel de granularidad necesitas?

4. Hash de Archivos - Algoritmo y Almacenamiento

Pregunta: Para el sistema de hash en dos etapas:

• ¿Usamos MD5 (rápido) o SHA256 (más seguro) para los hashes?
• ¿El hash incluye solo timestamp o también tamaño de archivo?
• ¿Cómo manejamos archivos que se mueven dentro del proyecto?

Decisión necesaria: ¿Qué balance entre velocidad y precisión prefieres?

5. Detección de Archivos en Uso - Método

Pregunta: Para detectar archivos bloqueados, ¿prefieres: Opción A: Intentar abrir cada archivo en modo escritura exclusiva Opción B: Usar lsof (Linux) / handle.exe (Windows) para listar archivos abiertos Opción C: Solo verificar el archivo .s7p principal

Decisión necesaria: ¿Qué método consideras más apropiado?

6. Manejo de Proyectos Grandes - Performance

Pregunta: ¿Hay límites que debamos considerar?

• Tamaño máximo de proyecto para backup
• Tiempo máximo de backup
• Número máximo de archivos por proyecto

Decisión necesaria: ¿Necesitamos algún tipo de throttling o límites?

7. Configuración de Directorios - Recursividad

Pregunta: Cuando especificamos un directorio de observación como C:\Projects, ¿debemos:

• Buscar solo en subdirectorios inmediatos
• Buscar recursivamente en toda la jerarquía
• Permitir configurar la profundidad de búsqueda

Decisión necesaria: ¿Qué comportamiento prefieres por defecto?

8. Backup Incremental vs Completo

Pregunta: ¿Todos los backups deben ser completos o consideras backup incremental?

• Backup completo: Todo el proyecto cada vez
• Backup incremental: Solo archivos modificados

Decisión necesaria: ¿Preferencia por simplicidad o eficiencia de espacio?

9. Web Interface - Características Específicas

Pregunta: ¿Qué funcionalidades son prioritarias en la interfaz web? Must-have:

• Lista de proyectos con estado
• Trigger manual de backup
• Ver logs básicos

Nice-to-have:

• Configurar schedules por proyecto
• Ver progreso de backup en tiempo real
• Estadísticas históricas
• Configurar nuevos directorios

Decisión necesaria: ¿Cuáles son must-have vs nice-to-have?

10. Error Handling - Estrategias de Recuperación

Pregunta: ¿Cómo manejar errores específicos?

• Espacio insuficiente en destino de backup
• Pérdida de conexión con Everything
• Corrupción de archivos de configuración
• Falla durante compresión

Decisión necesaria: ¿Qué nivel de robustez necesitas?

11. Startup Behavior - Inicialización

Pregunta: Al iniciar la aplicación:

• ¿Debe hacer un escaneo completo inmediatamente?
• ¿Debe esperar al primer schedule programado?
• ¿Debe permitir configurar el comportamiento de startup?

Decisión necesaria: ¿Qué comportamiento prefieres al iniciar?

12. Multi-threading - Concurrencia

Pregunta: ¿Los backups deben ejecutarse:

• Secuencialmente (uno por vez)
• En paralelo (múltiples simultáneos)
• Con límite configurable de concurrencia

Decisión necesaria: ¿Qué balance entre velocidad y recursos del sistema?

Próximos Pasos

Una vez que tengas respuestas a estas preguntas, podremos:

1. Finalizar el diseño técnico
2. Crear el requirements.txt definitivo
3. Comenzar con la implementación por fases
4. Definir el plan de testing

¿Podrías revisar estas preguntas y darme tus preferencias para cada una?

Para ejecutar el programa se puede usar:

'conda activate autobackups ; python src/app.py'