Midiendo la seguridad de TI: 3 errores de enfoque muy comunes

Recientemente, he leído el libro IT Security Metrics. A Practical Framework for Measuring Security & Protecting Data de L. Hyden. Copyright © 2010 by The McGraw-Hill Companies.

Sin entrar en detalles, el libro se estructura en 4 partes que ofrecen un marco para el  tratamiento de la seguridad de TI. Desde una introducción al tema principal hasta la puesta en marcha del programa de mejora de la seguridad (SIP – Security Improvement Program), pasando por la fase de definición e implementación de las métricas (GQM – Goal Question Metric Method y SMP – Sample Measurement Projects), y la gestión del proceso (SPM – Security Process Management).

Como suele suceder en este tipo de literatura, la propuesta es en general muy interesante, y muchos de sus planteamientos pueden extrapolarse también a otros procesos de gestión, no sólo al de seguridad de TI.  Precisamente de estos planteamientos, quisiera destacar aquí especialmente 3 de ellos, puesto que constituyen errores de enfoque comunes:

1.  No se puede medir lo que no se puede entender

Si no entendemos qué aspectos son los que realmente nos interesan de la seguridad, será muy difícil que sepamos qué métricas nos proporcionan información y conocimiento, o bien nos ayudan a tomar decisiones en esta materia, y cuáles no. No nos debiera interesar tan sólo el valor en relación a una supuesta escala, sino todo lo que representa.

“We often hear the mantra, you cannot manage what you do not measure, and I agree with this. But if you lack definition or consensus regarding the phenomena that you hope to manage (system performance versus human behavior, for example), then jumping straight into metrics is a recipe for frustration and failure. Your understanding of what you are measuring must be specific and agreed upon if your data is to be specific and accepted by everyone. Thus, a corollary to the mantra can be stated like so: You cannot measure what you do not understand”. (Pág. XXIV Introduction) 

2.  Las métricas son sólo un resultado, la medición es la principal actividad

A menudo centramos toda nuestra atención en recopilar los datos (métricas), pero descuidamos la actividad principal que es la medición. Esta actividad es la que nos capacita para obtener la información, analizarla y entenderla, y proporcionarnos el conocimiento y el verdadero control del proceso de seguridad de TI.

“One of the common mistakes people make when setting up a security metrics program is to focus too much on the metrics themselves”  (...)   

“Metrics are conceptual data repositories –they define and standardize information. Metrics do not organize that information into knowledge”.  (...)  

“The true benefits of metrics come when the data they represent is the end result of meaningful activities, actions that we take to accomplish a goal or a task.” (Pág. 6)

3.  El valor de las métricas cualitativas frente a las cuantitativas

En la búsqueda de un mayor control del proceso de seguridad de TI (y de otros procesos de gestión), a menudo se tiende a otorgar mayor peso a resultados de tipo cuantitativo, entendiendo que éstos nos proporcionan una aproximación más real al estado de seguridad que queremos medir, frente a los resultados cualitativos que nos parecen mucho menos empíricos y más sujetos a interpretaciones. Pero este enfoque racionalista cuantitativo no contempla dos aspectos esenciales:

• Los datos son elementos que no dejan de ser interpretados por personas.
• La seguridad es un aspecto tanto o más ligado a las personas. Los fenómenos culturales y sociales de la organización tienen una incidencia directa en el esfuerzo por proteger la información en todo su conjunto.

 “I believe not only that nonquantitative approaches to measurement are possible in our world, but they are necessary and vital, because security is inherently a social process as much as a technical on”. (Pág. 26)

“Numbers possess an unmistakable power to persuade, which is probably why we try to turn so many things into numbers. But it is important to remember that numbers must be interpreted just like any other data. They do not speak for themselves but instead must be reconciled with the standards of measurement to which they are associated”. (...)

“Empirical qualitative measurement is exactly like its quantitative cousin in that it is based on observation and experience. Where the two differ substantially is regarding what is actually being observed”. (Pág. 32)

En conclusión, si no somos capaces de tener una visión clara por adelantado respecto a lo que queremos medir, si no obtenemos conocimiento del análisis de las métricas obtenidas y, no tenemos en cuenta la parte  humana y social implícita en la gestión de la seguridad y prevención del riesgo, probablemente, todo el esfuerzo invertido en el proceso será incompleto si no consigue el objetivo esperado de gestionar adecuadamente el riesgo potencial al que la organización y sus activos de información puedan estar expuestos.

 “In most of the companies I visit during consulting engagements, security is managed on a project basis, whether the purpose of those projects are assessment, development, or implementation. We all understand security meets only some of their needs. Even organizations with strong capabilities around security and numerous projects in place for protecting systems and information find themselves in positions where risks and security incidents occur almost in spite of the organization’s effort to understand and improve its posture. This only reinforces the fact that it is impossible to eliminate risk. Instead, we must learn to manage risk and to do that we need to measure it, and we must decide how much we are willing to accept and how much we can afford to mitigate”. (Pág. 308)