El resultado es el esperado, primero, calar significa reducir progresivamente la opacidad desde el borde de la selección,

segundo, si seleccionas toda la imagen actúas sobre todo su perímetro.

Quizás una forma sencilla sea que utilices mejor la herramienta vectorial: Rectángulo Redondeado, especifica previamente en la barra de herram. el radio de esquina. Escoge aquí también, que genere un trazado.

Aplicalo sobre toda la extensión de la imagen.

En el panel Máscaras, pulsa el icono que aparece en la parte superior derecha, crear máscara vectorial.

Alternativamente, cárga el trazado como selección, invierte y suprime los píxeles en las esquinas.

Esto se puede automatizar (acción) si todas las imágenes tienen el mismo tamaño, y también si no lo tienen usando unidades en porcentajes.

Tambien puedes usar automatismos como Archivo>Scripts*> Cargar imágenes en Pila y tras eliminar las esquinas, Exportar Capas a archvos.

Si deseas eliminar las máscaras de capa, aplicando las máscaras, o sea ecortando, prueba entonces el script: Acoplar todas las máscaras.

(*) La traducción no se si es Guiones...., (es el siguiendo comando a Automatizar).

Tienes que crear el trazado vectorial y convertirlo en máscara de capa.

Una vez colocado basta con que pulses en el icono que aparece en el panel Máscaras en su extremo superior derecho.

(Si no quieres conservar la máscara pulsa sobre su icono en el Panel de Capas y en el menú contextual que aparece al pulsar el botón dcho. del ratón escoger Aplicar Máscara).

Si lo guardas o imprimes en un formato como PDF el trazado recorta perfectamente las esquinas.

Pero en Photoshop como visualiza sólo píxeles, los píxeles atravesados por el trazado tiene que aparecer ligeramente difuminados o semitransparentes por la acción del Anti-alias(ing). (Los píxeles son unidades básicas cuadradas de la imagen que no se pueden partir).

Colócalo sobre un fondo negro cómo en tu ejemplo y se notará mucho menos. Por supuesto la resolución de la imagen, el tamaño de los píxeles influye en el resultado. Tambien en tu ejemplo se nota el efecto.

Por cierto, si utilizas una selección o conviertes un trazado en selección, DESACTIVA la casilla Anti-Alias de la barra de control !!! Quizás ea esto lo que quieres conseguir..

Gracias Nacho por incluir las capturas de las herramientas, ya que estoy delante del PC no del Mac donde se pueden hacer de forma nativa capruras de areas a medida, y por ampliar la información.