How To: Despliegue de Azure Function desde VSTS usando Kudu

En los Azure Functions existe la posibilidad de configurar integración continua desde alguno de los repositorios soportados, y funciona muy bien en el escenario normal (con la estructura de la función y los archivos de script). Sin embargo, puede darse el caso que se necesite compilar previamente un proyecto para usar sus ensamblados desde el script de la función. Suena un poco raro, pero este fue mi caso la semana pasada dado el estado actual de soporte para F# (en el que se está avanzando). La situación era un proyecto de consola (.exe) que será llamado desde una función (Powershell) con un TimerTrigger.

Al final es muy fácil, pero perdí algo de tiempo poniendo las piezas juntas, así que dejo aquí el procedimiento solo por si me vuelve a ocurrir o le es de utilidad a alguien más:

1- A la definición del Build de Visual Studio de VSTS agregar un paso de copia de archivos con las propiedades como se ven en la imagen. Esto copiará la función (el archivo run y el function.json) al lugar donde ha sido ubicado el binario previamente (en mi caso, la función no hace parte del proyecto)

image

 

2- Agregar un paso para crear el zip que será enviado al endpoint de Kudu. Las propiedades las he dejado como están en la imagen:

image

3- Al repositorio se le debe agregar un archivo de Powershell, en mi caso lo he nombrado deploy.ps1 con el siguiente código:

Param(
    [Parameter(Mandatory = $true)]
    [string]$websiteName,

    [Parameter(Mandatory = $true)]
    [string]$buildZip,

    [Parameter(Mandatory = $true)]
    [string]$username,

    [Parameter(Mandatory = $true)]
    [string]$password,

    [string]$destinationPath = "/site/wwwroot/{nombre de la funcion}",
    [int]$timeout = 600
)

$ErrorActionPreference = "Stop"

Function JoinParts {
    param ([string[]] $Parts, [string] $Separator = '/')

    $search = '(?<!:)' + [regex]::Escape($Separator) + '+'
    ($Parts | Where-Object {$_ -and $_.Trim().Length}) -join $Separator -replace $search, $Separator
}

#Select-AzureSubscription -SubscriptionId $subscriptionId

$website = Get-AzureWebsite -Name $websiteName

#$username = $website.PublishingUsername
#$password = $website.PublishingPassword

$base64Auth = [Convert]::ToBase64String([Text.Encoding]::ASCII.GetBytes(("{0}:{1}" -f $username, $password)))
$authHeader = @{Authorization=("Basic {0}" -f $base64Auth)}

$baseUri = ($website.SiteProperties.Properties | Where-Object { $_.Name -eq "RepositoryUri" } | Select-Object -First 1).Value

$commandApiUri = JoinParts ($baseUri, "/api/command")
$commandBody = @{
    command = "rmdir {nombre de la funcion} /q /s && mkdir {nombre de la funcion}"
    dir = "site\wwwroot"
}

Write-Output "Removing previous build..."
Invoke-RestMethod -Uri $commandApiUri -Headers $authHeader -Method POST -ContentType "application/json" -Body (ConvertTo-Json $commandBody) -TimeoutSec $timeout | Out-Null

Write-Output ("Publishing to URI '{0}'..." -f $deployApiUri)
$deployApiUri = JoinParts ($baseUri, "api/zip", $destinationPath) '/'
Invoke-RestMethod -Uri $deployApiUri -Headers $authHeader -Method PUT -InFile $buildZip -ContentType "multipart/form-data" -TimeoutSec $timeout | Out-Null

Este código no es mío, lo he adaptado de este articulo que me aclaró bastante el panorama.

Básicamente lo que hace es:

3.1- Usar algunos cmdlets del Azure PowerShell para recuperar un Azure WebSite a partir de su nombre (si, un Azure Website). Estos cmdlets los tenemos disponibles en VSTS.

3.2- A partir de sus propiedades recupera la url del scm

3.3- Hace una petición POST al endpoint command para eliminar el contenido de la función anterior

3.4- Hace un PUT al endpoint zip con el zip que creamos en el paso anterior.

Nota: Agregué el usuario y el password como parámetros del script porque, al parecer, ya no hacen parte de las propiedades del Website. Este usuario y contraseña son los deployment credentials del sitio.

4- Vincular el Azure con VSTS

5- Agregar un paso de Azure PowerShell con las propiedades como se ven en la imagen:

image

 

Referencias

Deploying to Azure Using Kudu

Deploy to azure functions using powershell

Espero les sea de utilidad.

Hasta el próximo post.

Serverless Microservices con Azure Functions y Api Management

Hace ya un tiempo que Amazon liberó el servicio Lambda, en ese entonces no lo entendí muy bien, me pareció entender que respondía a eventos, lo comparé con los Azure WebSites + Azure Web Jobs y dejé el tema hasta ahí. En las ultimas semanas Microsoft anunció el servicio Azure Functions, y en la web ya se veían comparaciones con AWS Lambda, vi la documentación y la presentación en su momento, pero no entendí que plus había frente a los ya conocidos Azure WebSites + Azure Web Jobs. La semana pasada se llevó a cabo el Dev Days Latam en la ciudad de Lima, un evento sin presentes en la región al que tuve la oportunidad de asistir, y donde por primera vez escuché este concepto en una de las sesiones.

Decir que son los microservicios me resulta tan difícil como decir que es la programación funcional, si bien puedo decir algunas características no tengo una definición precisa y desconozco si la hay. En una ocasión un colega dijo “son Bounded Contexts as a Service” y es una definición que me gusta, pues de ahí se desprende lo de las pequeñas unidades de despliegue y la posibilidad de usar un lenguaje para cada necesidad y etc. etc. Imaginar que son los Serverless Microservices me hizo pensar en unidades de despliegue que no van a un “server” (?) ¿imágenes de Docker auto gestionadas en un host que yo no controlo? al googlear el termino para ver alguna definición o implementación veo que, para sorpresa mía, los primeros resultados son implementaciones hechas en AWS Lambda. ¿Pero no es lo mismo que un Azure WebSite + Web Job?

Desconozco mucho de la oferta de computo en la nube de Amazon así que traduzco la documentación de AWS Lambda a los Azure Web Sites y Web Jobs, pues me ofrece muchas de las características que allí se muestran. Pero si Azure ya tenía estos dos servicios ¿Para qué crear uno nuevo, si de hecho, lo Functions están basados en el Azure WebJob SDK?

Rescato algunos de los conceptos: Compute on-demand, que incluye un nuevo modelo de cobro y la posibilidad de responder a eventos de servicios de terceros (Http – WebHooks (?)). Y por último, pero no menos importante, el modelo de programación: Un Function App es una carpeta que contiene un archivo host.json y carpetas con las funciones. Estas funciones (carpetas) son archivos de código (en los lenguajes soportados) y un archivo function.json que define la función. La documentación completa está aquí.

Podemos entonces definir un Function App como el siguiente:

MyService
|host.json
|Membershib
|| node_modules
|| function.json
|| index.js
|SayHello
|| function.json
|| project.json
|| run.csx

En la estructura de este ejemplo he dejado dos funciones en lenguajes distintos dentro del mismo Function App (ahora mismo no sé si escala por función o por App), pero se puede mejorar esta implementación teniendo un servicio independiente de membership y uno “por cada necesidad”

Cómo cada Función tiene su propio endpoint… ¿Cómo hacemos para “unificarlo”? Azure tiene el servicio de Api Management que nos viene perfecto para exponerla como un Api, además de otros plus del servicio.

Así como los microservicios voy a dejar este post corto, solo con el concepto y sin más detalles de la implementación. Ya luego si me animo sigo con algo más parecido a un tutorial.

He dejado algo de código, con la estructura del proyecto que mostré aquí, en mi GitHub.

ASP.NET 5, Owin y Katana

Con todo esto del ASP.NET5, ASP.NET 4.6, MVC6, DNX, DNX Core, etc. No queda muy claro donde encajan ciertos componentes que antes ya nos resultaban familiares. Como el caso de Owin y Katana que, con el anuncio de ASP.NET 5, no supe donde quedaron o qué iba a pasar con ellos.

Afortunadamente el equipo de ASP.NET documentó el tema y solo tenía que buscar un poco.

Con la información obtenida en el articulo me quedaron claras algunas cosas:

  • En el repositorio de Katana ya habían dicho que la siguiente versión sería parte de “vNext” y que el proyecto se movería de codeplex a GitHub, en el mismo repo de ASP.NET. Además renombraron todo para alinearlo con ASP.NET 5 y la versión sería de nuevo la 1.0.katanaroadmap
  • Con esta movida no solo cambiaron de nombre las cosas, también cambió el cómo funcionaban, es el caso del IAppBuilder, que ahora es IApplicationBuilder, y que usa un AppFunc diferente. O el IOwinContext, que ahora es HttpContext.
  • Si hay forma de usar los viejos (Katana 3.0) middlewares en ASPNET 5.

Algo de código

Hasta aquí he comentado lo que entendí de aquel articulo. Pero unas cuantas lineas de código nos mostrara que quiere decir esto y nos aportará nuevas dudas.

¿Cómo luce un middleware hoy?

Para crear un middleware compatible con el pipeline de Katana basta con definir una clase que use el AppFunc y tenga un método Invoke, algo de la forma:

using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Threading.Tasks;

namespace MisMiddelwares
{
    using AppFunc = Func<IDictionary<string, object>, Task>;

    public class DebugMiddleware
    {
        private readonly AppFunc _next;

        public DebugMiddleware(AppFunc next)
        {
            _next = next;
        }

        public async Task Invoke(IDictionary<string, object> enviroment)
        {
            var path = (string) enviroment["owin.RequestPath"];
            Debug.WriteLine("--Incoming request. Path: " + path);
            await _next(enviroment);
            Debug.WriteLine("--Outgoing request. Path: " + path);
        }
    }
}

¿Cómo se usa un middleware hoy?

El middleware anterior lo podemos integrar en el pipeline de Katana 3.0 de manera muy, muy sencilla:

    using Owin;
    using MisMiddlewares;
    public class Startup
    {        
        //... Configure Web API for self-host. 
        var config = new HttpConfiguration();
	appBuilder.Use<DebugMiddleware>();
        appBuilder.UseWebApi(config);      
    }

Si quisiéramos agregar nuestro middleware usando la forma app.UseXXX, deberíamos agregar una clase estática al ensamblado del middleware, agregar una dependencia a Katana (Microsoft.Owin) y usar el siguiente código

namespace MisMiddlewares
{
    using Owin;

    public static class DebugMiddlewareExtensions
    {
        public static void UseDebug(this IAppBuilder app)
        {
            app.Use<DebugMiddleware>();
        }
    }
}

Usar mi middleware en ASP.NET 5

Ahora viene lo nuevo, en un proyecto de ASP.NET 5 (DNX) vamos a intentar usar el middleware que acabamos de crear. Para ello lo primero que haré será remover el dnxcore50 de la sección frameworks del project.json, esto porque no lo usaré y necesito una referencia al middleware (cproj). Una vez hecho esto agrego una referencia al proyecto (con todo lo que hace por detrás), esto lo hago solo para ver que pasaría en el caso de querer reutilizar el componente sin tener que escribir nada más, además de ver que tiene el nuevo Katana que nos permita reutilizar lo anterior.

En el startup vemos que el nuevo IApplicationBuilder aún expone un método Use, pero con una firma muy diferente para el AppFunc que no nos sirve en nuestra anterior implementación. Podríamos intentar construir uno (AppFunc) a partir de este, o mejor aún, usar lo que ya tiene Katana vnext (el vnext se lo puse yo :P) para esto. En el articulo hay un enlace a un repo que contiene un ejemplo, algo engorroso, que muestra cómo hacerlo. Pero en ese mismo repositorio hay otro ejemplo un poco más claro. Partiendo de este ejemplo, si queremos usar de nuevo nuestro middleware empezaremos por instalar el paquete Microsoft.AspNet.Owin, que nos expone el método UseOwin, y, en la clase Startup ya podemos agregarlo al pipeline:

        public void Configure(IApplicationBuilder app, IHostingEnvironment env)
        {
            app.UseOwin(addToPiepline =>
            {
                addToPiepline(next =>
                {
                    var middleware = new DebugMiddleware(next);
                    return middleware.Invoke;
                });
            });

Inquietudes

Con esta implementación me queda la inquietud de cómo harán las personas que mantienen este tipo de proyectos para dar soporte a las aplicaciones DNX y a las tradicionales, cómo será el tema del código compartido… o si será algo automático

Ejemplo

He dejado el código de este artículo aquí

Espero les sea de utilidad esta breve aclaración

Hasta el próximo post.

[F#] Tail Recursion y el Stack

En la entrada anterior veíamos cómo, de manera sencilla, podíamos razonar y entender las funciones recursivas. Pero ¿Cómo funcionan estas llamadas recursivas en .NET?

Empecemos por aclarar algo. Cuando se llama a una función, el computador debe recordar el lugar desde donde fue llamada, la dirección de retorno, de modo que pueda volver a ese lugar con el resultado una vez la llamada se ha completado¹. Estas direcciones son almacenadas en el call stack. Una vez la función retorna un valor la pila de llamadas se borra y el programa continúa desde la función llamadora.

Si una función recursiva se llama a si misma una y otra vez, como un loop, el stack se irá llenando con dichas direcciones (las llamadas a si mismo). El problema es que el stack no es infinito y podemos recibir una conocida excepción, si, la Stack Overflow Exception.

Podemos comprobar este comportamiento si escribimos una función que calcule el factorial de un número de manera recursiva, algo de la forma:

    let rec factorial =
        function
        | x when x > 1 -> x * factorial (x-1)
        | _ -> 1

Usando Visual Studio, podemos poner un breakpoint en el otherwise, donde esta el “1“, llamar la función y ver que pasa:

factorial

Ahora podemos probar calculando el factorial de Int32.MaxValue y ver que pasa… Process is terminated due to StackOverflowException.

Entonces, ¿Es posible escribir funciones recursivas que no llenen el call stack? La respuesta es si, y es lo que llamamos tail recursion (lo dejo en inglés porque recursión de cola no me gusta). Este tipo de recursión se basa en que todas las llamadas recursivas aplicarán la optimización de tail call. Esta optimización la obtenemos cuando la función llamadora retorna directamente el valor de la función llamada sin aplicar ninguna transformación/operación/reducción sobre dicho valor de retorno. Entonces, si todas las llamadas de la función recursiva son tail calls tendremos tail call recursion.

¿Pero cómo podemos lograr esto? Si analizamos de nuevo el tail call la respuesta pasa por retornar directamente la llamada a la función sin aplicar la función x*. Pero… ¿Y por cual valor multiplicamos? pues tendremos que usar un valor inicial (seed/acumulador/…). Con lo que la función factorial, tail recursive, puede ser definida así:

    let factorial' =
        let rec fact acc = 
            function
            | x when x > 1 -> fact (acc*x) (x-1)
            | _ -> 1
        fact 1

Cómo podemos ver ahora hay una nueva función dentro de la definición de factorial'. Esta función recibirá el valor del acumulador, que será 1 y el parámetro n. Si ponemos nuevamente un breakpoint en el otherwise, donde está el “acc“. Y usamos la función con Int32.MaxValue, esta vez veremos un call stack como el siguiente:

factorial1

De esta forma retornamos directamente la función sin hacer ninguna operación (x*) sobre la función.

En lenguajes funcionales, como F#, es común que el compilador optimice este código, y lo convierta a loops cómo los que tendríamos en lenguajes imperativos, logrando así el mismo comportamiento y performance.

Por el contrario, si queremos aplicar esta tipo de recursión en lenguajes como C# veremos que no hay ninguna optimización y el call stack se irá llenando con cada llamada a la función. El por qué en C# no se hace esta optimización es un misterio para mi, pero para eso esta F#.

Espero les sea de utilidad.

Hasta el próximo post.

Referencias

¹ Véase Wikipedia, Tail call, consultado: 7/11/2015.

MSDN Blog, Tail calls in F#

MSDN Blog, Understanding Tail Recursion

StackOverflow, Why doesn’t .NET/C# optimize for tail-call recursion?

[F#] Funciones recursivas a lápiz y papel

Si hay algo que me ha gustado de la programación funcional (en lo poco que llevo estudiándole) es poder razonar sobre las funciones que escribo como meras funciones matemáticas, nada de tener que pensar en mutaciones de estado de un objeto o efectos colaterales al invocar determinada función. Y si hay algo que me gusta de las matemáticas, y la algoritmia en particular, es llenar hojas enteras de números, formulas y dibujos para razonar, abstraer y entender distintos conceptos y problemas. Hay gente que usa algún software u hojas de calculo para esto, a mi me gusta el lápiz y el papel.

El concepto de función recursiva es un tema fundamental en cualquier texto de programación funcional (al menos en los que yo he visto siempre tocan el tema), y en la web podemos encontrar definiciones, y en MSDN la implementación de F#

Lo que quiero exponer aquí es cómo razonar sobre las funciones recursivas cómo si estuviéramos operando sobre una función matemática. ¿Por qué? porqué hasta hace muy poco me complicaba y terminaba acudiendo a algún trace/log.

I'm a sad panda

Ahora veamos un ejemplo de cómo se puede analizar una función recursiva. Dada la función maxlist del tipo 'a list -> a que retornará el elemento mayor de una lista.

    let rec maxlist = 
        function
        | []    -> failwith "Lista vacia"
        | [x]   -> x
        | x::xs -> max x (maxlist xs)

Siempre que se usa recursividad con listas se puede sacar provecho del pattern matching para escribir código más expresivo. Viendo la función podemos deducir que: Para una lista vacía se lanzará una excepción, para una lista con un elemento regresaremos ese único elemento, y, para una lista con más de un elemento se aplicará la función max para el head de la lista y el resultado de llamar, nuevamente, la función maxlist con el tail de la lista como argumento. Entonces, usando lápiz y papel, podemos resolver la ecuación:

 
maxlist [5;1;3;7]
= max 5 (maxlist [1;3;7])
= max 5 (max 1 (maxlist [3;7]))
= max 5 (max 1 (max 3 (maxlist [7]))) //maxlist de una lista con un elemento retorna dicho elemento
= max 5 (max 1 (max 3 7))
= max 5 (max 1 7)
= max 5 7
= 7

De esta forma, resolviendo las ecuaciones como si fueran funciones matemáticas, podemos resolver las funciones recursivas.

En el siguiente ejemplo usaremos tres funciones: halve que partirá una lista en dos (retornando una tupla con las dos listas). La función mergeordlist que ordenará dos listas cuyos elementos ya estén ordenados dentro de una nueva lista. Y, finalmente, la función msort que usando estas otras dos funciones ordenará los elementos de una lista.

    let halve xs = List.splitAt (List.length xs / 2) xs

    let rec mergeordlists xs ys = 
        match (xs, ys) with
        | ([], ys) -> ys
        | (xs, []) -> xs
        | (x::xs, y::ys) -> 
            if x <= y then x :: mergeordlists xs (y::ys)
            else y :: mergeordlists (x::xs) ys

    let rec msort  =
        function
        | [] -> []
        | [x] -> [x]
        | xs -> 
            let (ys, zs) = halve xs
            mergeordlists (msort ys) (msort zs)

¿Cómo podemos resolver la función msort para un determinado conjunto de datos? ¡Fácil! reemplazando valores y resolviendo las ecuaciones siguiendo el orden de los paréntesis

msort [3;1;5;2]
= halve [3;1;5;2] // ([3;1],[5;2]) primero se resuelve halve
--> mergeordlist (msort [3;1]) (msort [5;2]) // reemplazamos los valores y se llama de nuevo a msort
= halve [3;1] // ([3],[1]) 
--> mergeordlist (mergeordlist (msort [3]) (msort [1])) (msort [5;2])
= mergeordlist (mergeordlist [3] (msort [1])) (msort [5;2]) //llamar a msort con una lista de un elemento devuelve la lista "[3]"
= mergeordlist (mergeordlist [3] [1]) (msort [5;2])
= halve [5;2] // ([5], [2])
--> mergeordlist (mergeordlist [3] [1]) (mergeordlist (msort [5]) (msort [2]))
= mergeordlist (mergeordlist [3] [1]) (mergeordlist [5] (msort [2]))
= mergeordlist (mergeordlist [3] [1]) (mergeordlist [5] [2])
= mergeordlist [1;3] (mergeordlist [5] [2])
= mergeordlist [1;3] [2;5]
= [1;2;3;5]

Entender una función recursiva usando lápiz y papel es como comerse una naranja

Espero les sea de útilidad.

Hasta el próximo post.