it-swarm-es.com

Herramientas automatizadas versus revisiones manuales

¿Cuáles son las ventajas de usar herramientas automatizadas, en comparación con la revisión manual? ¿Cuales son las desventajas?
Esto se aplica tanto al escaneo externo de vulnerabilidades de blackbox como al análisis de código estático.


Del Area51 original propuesta

17
AviD

Algunas buenas respuestas aquí, pero creo que faltaron algunos puntos:

  • Las herramientas automáticas terminan mucho más rápido que las pruebas manuales, por órdenes de magnitud.
  • Las herramientas automáticas cubren la amplitud, pero necesita pruebas manuales de profundidad. (Amplitud tanto en el rango de ataques/pruebas como en el sondeo de todas las interfaces/líneas de código).
  • Las herramientas automáticas son excelentes para la fruta común, pero si necesita aumentar el nivel de seguridad, deberá profundizar manualmente.
  • Las pruebas manuales no pueden cubrir todos los bits del sistema (ya sean líneas de código, ensamblaje descompilado, páginas web y parámetros, servicios web, etc.), mientras que las herramientas automáticas son excelentes para eso.
  • Como dijo @Andreas, a veces hay un vector complejo que las herramientas automáticas no pueden imaginar, pero será obvio para un experto.
  • Las herramientas automáticas no pueden probar fallas de lógica de negocios, solo cazan las fallas técnicas, y las más comunes.
  • Las pruebas manuales no son consistentes.
  • Las pruebas manuales dependen de la habilidad del probador individual (¡oh, el horror!), Pero realmente necesitas saber lo que estás buscando.
  • Del mismo modo, con las pruebas manuales no puede obtener pruebas de regresión.
  • Las herramientas automáticas se actualizan automáticamente con las nuevas hazañas, pero un humano generalmente no recordará todos los vectores que leyó hace dos años ...
  • Por otro lado, las herramientas automáticas solo se actualizarán una vez cada tanto, pero un ser humano puede aprender sobre una nueva técnica y aplicarla al día siguiente.
  • Las herramientas automáticas generalmente incluyen un porcentaje muy alto de falsos positivos (del 30% a más del 90%, dependiendo de la metodología y la elección del producto).
  • Las herramientas automáticas generalmente vienen con un conjunto de informes decente.

¿Línea de fondo? Ambos tienen un lugar, y ambos deben usarse en el contexto correcto. Para aplicaciones de baja calidad, primero comience arreglando todo lo que la herramienta automática puede encontrar, y no se moleste en invertir en una revisión manual adecuada todavía. Cuando aumente el nivel de seguridad y se deshaga de la fruta que cuelga, vaya la distancia y realice una revisión manual en profundidad. Y, cuando realice pruebas manuales, el primer paso es ejecutar la herramienta automática, filtrar los resultados y LUEGO comenzar la prueba real.

16
AviD

Pros automatizados:

  • Rápido - verificaciones por tiempo;
  • No necesita atención (principalmente);
  • Puede ser programado y reportado;

Contras automatizados:

  • No cubre vectores de ataque inteligente;
  • No siempre garantiza un control total del proceso;

El enfoque manual básicamente convierte las ventajas/desventajas automatizadas en sus ventajas/desventajas. Pero el enfoque manual requiere un conocimiento más profundo del tema.

8
anonymous

Semiautomatización es la respuesta. Las herramientas automatizadas de pilotaje de inteligencia humana son la mejor apuesta para maximizar la cobertura y la profundidad de las pruebas, ni una ni otra.

Lo que funciona: Personas inteligentes manejando las herramientas.

Lo que falla: Todo lo demás.

4
Tate Hansen

Las herramientas automatizadas pierden cosas e informan falsamente, lo que requiere trabajo manual.

Por lo tanto, todo el trabajo automatizado crea más trabajo manual.

También es posible que desee ver mi respuesta a esta pregunta en White-box vs. Black-box donde explico las mejores prácticas según lo dicta la literatura.

1
atdre

Las herramientas automatizadas pueden hacer algunas cosas mejor que un ser humano, y viceversa.

Las herramientas automatizadas, por ejemplo, pueden probar cientos de formas diferentes de encontrar una vulnerabilidad XSS, más de lo que un humano puede recordar. Cada vez que alguien encuentra una nueva forma de hacer XSS, se agrega a la herramienta y la probará.

Por otro lado, estas herramientas no son inteligentes, no sacan conclusiones. Un humano podría concluir que cuando haces X en la página 1 e Y en la página 2, el resultado en la página Z será diferente y, a continuación, se exceptuará.

1
Andreas Arnold

En un publicación reciente , leí que Radware descubrió que los ataques que duran solo una hora o menos están en aumento, y más de la mitad de los tres ataques más grandes cayeron en esa categoría. Las implicaciones de estos hallazgos son claras. Es probable que muy pronto, incluso las campañas de ataque largas se basen en ráfagas cortas de tráfico, explosiones que son difíciles, si no imposibles, para que los humanos las mitiguen de manera efectiva. Entonces me parece que la seguridad automatizada es el futuro, sin embargo, todavía debe haber un elemento humano para configurar esto correctamente.

0
Felix