Lire un fichier CSV avec DuckDB

DuckDB sait lire un fichier CSV directement : on écrit son nom après from, sans l'importer d'abord. Le fichier joue le rôle d'une table pendant la requête.

Un club de location de vélos exporte chaque semaine ses trajets dans un fichier. Un étudiant veut la durée moyenne par station, tout de suite.

Dans un CSV, chaque ligne du fichier est une ligne de données. Une virgule sépare les valeurs. La première ligne, l'en-tête, donne le nom des colonnes.

C'est le format d'échange le plus courant : tableur, application, capteur, tous savent en écrire un. Voici le contenu du fichier trajets.csv du club.

read_csv('trajets.csv') donne une table dont les colonnes viennent du fichier. On peut l'interroger comme une autre : select, where, group by.

Écrire seulement from 'trajets.csv' marche aussi. Les fichiers TSV (tabulations) et JSON en lignes se lisent de la même façon.

-- Dans le bac à sable, avec trajets.csv déposé : le fichier est la table.
select station_depart, count(*) as nb, round(avg(duree_min), 1) as duree_moyenne
from read_csv('trajets.csv')
group by station_depart
order by station_depart;

Les noms viennent de l'en-tête. Les types sont devinés en lisant les premières lignes : des entiers, du texte, des dates.

Avec describe select * from read_csv('trajets.csv'), DuckDB affiche les types devinés. Voici ce qu'il a affiché pour notre fichier.

Pour s'entraîner sans fichier, on crée une table avec les mêmes colonnes et les mêmes types. La requête ne change que d'un mot : from trajets remplace from read_csv('trajets.csv').

C'est aussi ainsi qu'on vérifie une requête avant de la lancer sur un gros fichier.

-- Même requête que pour le fichier, mais sur une table qui lui ressemble.
select station_depart, count(*) as nb, round(avg(duree_min), 1) as duree_moyenne
from trajets
group by station_depart
order by station_depart;
-- Ajoutez where duree_min >= 9 avant group by : quelles stations perdent des trajets ?

Sans en-tête, écrivez header = false : les colonnes s'appellent column0, column1, et ainsi de suite.

Pour imposer un type, écrivez types = {'code_postal': 'INTEGER'}. Attention : un code postal 06000 devient alors l'entier 6000, et le zéro du début disparaît.

-- Un fichier sans ligne d'en-tête : les colonnes s'appellent column0, column1, ...
select * from read_csv('trajets.csv', header = false, skip = 1);

-- Forcer un type : ici le code postal devient un entier.
select * from read_csv('trajets.csv', types = {'code_postal': 'INTEGER'});