Enfrentamiento de Métodos para Remover Columnas Vacías Dinámicamente en Power Query.
En la búsqueda de un método que nos permita remover columnas vacías dinámicamente en grandes volúmenes de datos: 5 millones, 20 millones, 30 millones que se deban cargar en memoria, llegamos con 3 posibilidades: el primero involucra transponer, el segundo contar los nulls y el tercero escapa de las iteraciones dependiendo de la columna .a
Para ejecutar el contraste utilizamos una tabla de casi 5 millones de filas descargada desde aquí, pero artificialmente le agregamos 3 columnas vacías, la medición del rendimiento se lleva acabo con este método que utiliza la función Record.QueryExecutionTimeFromDiagnostic.
Método para Remover Columnas Vacías con Transponer
El primer método es el explicado en el vídeo: La FORMA IDEAL de Remover Columnas Vacías en POWER QUERY que se adapta como función personalizada para medir su rendimiento, el código M es como sigue:
Método para Remover Columnas Vacías con Sólo List.NonNullCount
El segundo método es del canal How To Power BI y puedes ver su explicación aquí, el código ha sido adaptado a función para medir su rendimiento así:
Método para Remover Columnas Vacías con List.Skip
El último método lo desarrollamos en Excel Free Blog buscando puntos de mejora en los expuestos, pues ver su construcción en el vídeo: REMOVER Columnas Vacías para BIG DATA con Power Query DINÁMICAMENTE, donde su código es:
En el vídeo podrás ver todo el proceso de medición y comentarios, por lo que es altamente recomendable, pero los resultados fuerón:
— Miguel Caballero