Lo haces ingresando al administrador de Woocommerce, en la sección WordPress. Ingresas a ajustes > Enlaces Permanentes. Debes seleccionar la opción "Nombre Entrada"