¡Buenas!
Con estadística siempre intento ir a conceptos básicos porque si trato de memorizar tropecientas propiedades al final me pierdo. Por eso voy a responder a la pregunta pero quizás te parezca una respuesta un poco "simple" y que otros compañeros te puedan dar una justificación super completa.
Una de las propiedades de los estimadores es la eficiencia; un estimador es más eficiente que otro si la Varianza el Estimador Muestral es menor que otro (hasta ahí la definición clásica y origen de tu duda).
Esto lo que quiere decir es que cuanto menor es la eficiencia, menor es la confianza que podemos tener en ese estadístico para realizar la inferencia con la población. Nos interesa que los datos no estén muy polarizados en los extremos (mucha variabilidad) pero tampoco demasiado homogéneos o lo que vamos a estimar no podrá servirnos para trasladarlos a la población. Ahí es cuando se debe tomar la decisión si media o mediana es mejor.
Por ejemplo; si la varianza de la media es 0.4 y la varianza de la mediana es 1,2, diremos que el estimador de la varianza de la media es más eficiente. Es más pequeño y nos da más confianza.
Te dejo este enlace con cositas "básicas" que digo yo y luego ya con los apuntes puedes ir liando los conceptos todo lo que te apetezca jajaja
https://www.uv.es/webgid/Inferencial/42 ... dores.html