Support des fichiers dans Kinto

Le besoin initial

Le besoin d'ajouter des fichiers dans Kinto avait été identifié depuis le début du projet. Mais comme nous sommes une toute petite équipe, nous sommes un peu forcés d'attendre que des besoins se présentent en interne (chez Mozilla) pour se lancer dans l'implémentation.

Après les permissions, le chiffrement, les signatures et les notifications, nous avons enfin eu une demande pour les fichiers !

En effet, dans Fennec — la version mobile de Firefox — nous souhaitons livrer et mettre à jour des fichiers statiques (polices de caractères, icônes, dictionnaires de césures...) sans avoir à repackager et redéployer une nouvelle version de l'application.

Pour cela, un Kinto accessible publiquement en lecture-seule sera consulté par les mobiles pour synchroniser localement des collections d'enregistrements, qui eux fourniront les URLs vers les fichiers (sur un CDN). Les collections fonts, assets ou hyphenation seront mises à jour dès qu'un fichier sera ajouté ou remplacé sur un de leurs enregistrements.

Nous reviendrons avec plus de détails dans un autre article, mais cela ressemble beaucoup à ce que nous sommes en train de faire pour les révocations de certificats ou les listes noires d'addons dans Firefox.

La solution

Comme nous avons besoin de cette fonctionnalité assez rapidement et que ce cas d'utilisation n'est probablement pas très universel, nous avons décidé d'implémenter une solution sous forme de plugin Kinto [1].

Le support des fichiers sera donc optionnel dans un premier temps.

HTTP API

Quand le plugin est activé, Kinto dispose d'un nouveau endpoint : un suffixe /attachment à l'URL de l'enregistrement.

Le fichier est posté avec le Content-Type multipart. Avec HTTPie, ça donne :

$ http --auth alice:passwd --verbose --form POST \
     http://localhost:8888/v1/buckets/website/collections/assets/records/c2ce1975-0e52-4b2f-a5db-80166aeca689/attachment \
     data='{"type": "wallpaper", "theme": "orange"}' \
     attachment=@~/Pictures/background.jpg

HTTP/1.1 201 Created
Access-Control-Expose-Headers: Retry-After, Content-Length, Alert, Backoff
Content-Length: 209
Content-Type: application/json; charset=UTF-8
Date: Wed, 18 Nov 2015 08:22:18 GMT
Etag: "1447834938251"
Last-Modified: Wed, 18 Nov 2015 08:22:18 GMT
Location: http://localhost:8888/v1/buckets/website/collections/assets/c2ce1975-0e52-4b2f-a5db-80166aeca689
Server: waitress

{
    "filename": "background.jpg",
    "hash": "db511d372e98725a61278e90259c7d4c5484fc7a781d7dcc0c93d53b8929e2ba",
    "location": "/files/MDcxJDAiBgNVBAMTG1JDUyBDZXJ0aWZpY2.jpg",
    "mimetype": "image/jpeg",
    "size": 1481798
}

L'enregistrement lié a été créé, et contient un attribut attachment avec les metadonnées du fichier, ainsi que les attributs supplémentaires spécifiés lors de l'envoi :

$ http --auth alice: GET \
      http://localhost:8888/v1/buckets/website/collections/assets/records/c2ce1975-0e52-4b2f-a5db-80166aeca689

HTTP/1.1 200 OK
Access-Control-Expose-Headers: Content-Length, Expires, Alert, Retry-After, Last-Modified, ETag, Pragma, Cache-Control, Backoff
Cache-Control: no-cache
Content-Length: 360
Content-Type: application/json; charset=UTF-8
Date: Wed, 18 Nov 2015 08:24:15 GMT
Etag: "1447834938251"
Last-Modified: Wed, 18 Nov 2015 08:22:18 GMT
Server: waitress

{
    "data": {
        "id": "c2ce1975-0e52-4b2f-a5db-80166aeca688",
        "last_modified": 1447834938251,
        "theme": "orange",
        "type": "wallpaper",
        "attachment": {
            "filename": "background.jpg",
            "hash": "db511d372e98725a61278e90259c7d4c5484fc7a781d7dcc0c93d53b8929e2ba",
            "location": "/files/MDcxJDAiBgNVBAMTG1JDUyBDZXJ0aWZpY2.jpg",
            "mimetype": "image/jpeg",
            "size": 1481798
        }
    },
    "permissions": {
        "write": ["basicauth:6de355038fd943a2dc91405063b91018bb5dd97a08d1beb95713d23c2909748f"]
    }
}

Il est également possible de supprimer un attachment en effectuant une requête DELETE sur le /attachment de l'enregistrement.

Si l'attribut attachment est supprimé de l'enregistrement, le lien avec le fichier est tout de même conservé en interne, notamment pour s'assurer de sa suppression lors de la suppression de l'enregistrement.

Démo

Si vous avez du feedback sur ces premiers pas, n'hésitez pas à nous en faire part !

Une première implémentation a été commencée, en utilisant Pyramid Storage.

Nous avons déjà eu l'occasion de tester l'API en soirée et ce fût un véritable succès!

Dans ce petit projet, un bot Telegram reçoit des messages et des contenus multimedia, et les transmet à un serveur Kinto sous forme de fichiers joints.

Une page Web synchronize et affiche les images, videos et sons en direct sur l'écran géant! Pendant la soirée, tout le monde a adoré envoyer un petit quelquechose, et il a suffi de faire une archive du répertoire de kinto-attachment pour distribuer un paquet de chouettes souvenirs!