Upgrade de scala, desde 2.11 a 2.12, plan de pruebas 100% exitoso, se evidencia el siguiente cambio en comportamiento :
Al ejecutar la consulta
spark.sql("select cast(' 1 ' as int) as num").show()
en versión 2.3 de spark retorna NULL, mientras que en versión 3.x de spark retorna 1.
En resumen, la versión 3.x de spark tiene el comportamiento esperado de esta transformación.