|
Sonification des Données avec vlrMemos |
Sonification des Données avec vlrMemos
La sonification avec vlrMemos concerne les signaux physiologiques et les données de variabilité. Durant les enregistrements ou les lectures, par défaut, il n'y a pas de son pour ces signaux ou ces données, mais des affichages des valeurs des paramètres pour un canal ou pour la moyenne des canaux.
En option, nous allons générer un son par canal (le multicanal sera possible), à l'aide d'un algorithme de sonification de bonne qualité. Nous allons utiliser la sonification par mapping spectral (Spectral Mapping Sonification en Anglais).
Pour l'instant, la sonification n'est pas encore implémentée dans vlrMemos.
Nous commençons par présenter ci-dessous quelques résultats d'études et de recherche, ainsi que quelques exemples d'implémentations.
Puis nous finirons par décrire ce que nous allons implémenter dans vlrMemos.
Pour un survol complet du domaine, se référer au manuel (handbook) de la sonification, à l'adresse suivante:
Manuel de la Sonification
Création Artistique:
La création artistique est possible (musification), par sonification de données comme:
- L'ADN (l'acide désoxyribonucléique).
- Les activités solaires.
- Les enregistrements météorologiques.
- Les marées.
- etc.
Voir le manuel de la sonification pour plus d'informations.
Données Physiologiques:
La sonification peut être utilisée comme une méthode complémentaire de la visualisation.
Ci-dessous, il y a un lien vers une étude portant sur la sonification du rythme cardiaque.
Des études récentes ont montré, par exemple, qu'on pouvait entendre la différence entre un rythme cardiaque normal et un rythme cardiaque anormal grâce à la sonification des signaux de l'ECG.
Sonification du Rythme Cardiaque
Détection du Cancer:
En médecine, certains types de cancer peuvent être détectés par le son. L'audio peut accélérer l'analyse d'une biopsie du cancer qui peut prendre plusieurs semaines actuellement.
La conversion des données de cellules souches en sons pourrait permettre de faire des diagnostics de cancer instantanés et non invasifs lors d'un contrôle de routine.
Pour plus d'informations:
Détection de Cancer par Sonification (1)
Détection de Cancer par Sonification (2)
Détection de Cancer par Sonification (3)
Sonification des Données du Boson de Higgs:
Un algorithme simple est utilisé:
- Un même numéro est associé à une même note.
- La mélodie change en suivant exactement le même profil que les données.
Plus d'informations à l'adresse suivante:
Sonification des Données du Boson de Higgs
Avec cet algorithme, on obtient les sons suivants:
- Piano Solo:
- Piano et Marimba:
- Plus d'Instruments:
(Piano, Marimba, Xylophone, Flûte, Double Basse et Percussion).
Voitures Electriques:
D'après les spécialistes, les voitures électriques, sans bruit, présentent un danger pour les piétons, les cyclistes, les mal-voyants, etc, et doivent être sonifiées sans pour autant augmenter la pollution sonore.
Des versions spéciales des systèmes d'exploitation iOS et Android existent pour les voitures. Beaucoup de données sont récupérées (vitesse des roues, données GPS, etc). Certaines données devraient permettre une sonification efficace, mais les algorithmes sont encore au stade de la recherche.
Pour plus d'informations sur le sujet:
Sonification des Voitures Electriques (1)
Sonification des Voitures Electriques (2)
Android Auto
CarPlay
vlrMemos:
Nous allons utiliser la sonification par mapping spectral (spectrale mapping sonification).
La sonification par mapping spectral permet de surveiller toutes les fréquences ou une bande précise de fréquences.
Pour plus d'informations, voir le manuel de la sonification ou lire l'article suivant:
Sonification par Mapping Spectral
Nous allons transformer les données du domaine des fréquences en notes de musique:
- Les amplitudes seront liées aux énergies spectrales.
- Les durées seront liées à la durée des trames, avec un facteur de compression de temps.
- Les fréquences seront liées aux centroïdes spectraux (centres de masse).
Par défaut, pour chaque canal, nous allons considérer une zone constituée de toutes les fréquences. Il y aura possibilité de limiter la zone. On affectera un instrument à cette zone (par défaut, le piano).
On donnera la possibilité d'affecter un instrument aux basses fréquences et un autre aux hautes fréquences, pour pouvoir étudier les rapports de puissance haute et basse.
On donnera la possibilité d'affecter un instrument à l'avant-plan (plus grands points ou points de plus grande magnitude) et un autre à l'arrière-plan (bandes les plus énergétiques). Ceci permettra d'isoler le bruit de fond ou d'étudier l'influence ou l'évolution de ce bruit.
Nous allons utiliser une librairie permettant de synthétiser les sons et d'utiliser les fontes sonores (SoundFont en Anglais), comme Timidity++ ou FluidSynth. Cette approche permettra de personnaliser les instruments par un simple remplacement des fontes.
Le multicanal sera possible, chaque canal étant traité comme une piste d'un fichier MIDI. Cette approche permettra, en multicanal, d'avoir une idée de la synchronie des canaux via la cohérence spectrale.
En option, nous allons générer un son par canal (le multicanal sera possible), à l'aide d'un algorithme de sonification de bonne qualité. Nous allons utiliser la sonification par mapping spectral (Spectral Mapping Sonification en Anglais).
Pour l'instant, la sonification n'est pas encore implémentée dans vlrMemos.
Nous commençons par présenter ci-dessous quelques résultats d'études et de recherche, ainsi que quelques exemples d'implémentations.
Puis nous finirons par décrire ce que nous allons implémenter dans vlrMemos.
Pour un survol complet du domaine, se référer au manuel (handbook) de la sonification, à l'adresse suivante:
Manuel de la Sonification
Création Artistique:
La création artistique est possible (musification), par sonification de données comme:
- L'ADN (l'acide désoxyribonucléique).
- Les activités solaires.
- Les enregistrements météorologiques.
- Les marées.
- etc.
Voir le manuel de la sonification pour plus d'informations.
Données Physiologiques:
La sonification peut être utilisée comme une méthode complémentaire de la visualisation.
Ci-dessous, il y a un lien vers une étude portant sur la sonification du rythme cardiaque.
Des études récentes ont montré, par exemple, qu'on pouvait entendre la différence entre un rythme cardiaque normal et un rythme cardiaque anormal grâce à la sonification des signaux de l'ECG.
Sonification du Rythme Cardiaque
Détection du Cancer:
En médecine, certains types de cancer peuvent être détectés par le son. L'audio peut accélérer l'analyse d'une biopsie du cancer qui peut prendre plusieurs semaines actuellement.
La conversion des données de cellules souches en sons pourrait permettre de faire des diagnostics de cancer instantanés et non invasifs lors d'un contrôle de routine.
Pour plus d'informations:
Détection de Cancer par Sonification (1)
Détection de Cancer par Sonification (2)
Détection de Cancer par Sonification (3)
Sonification des Données du Boson de Higgs:
Un algorithme simple est utilisé:
- Un même numéro est associé à une même note.
- La mélodie change en suivant exactement le même profil que les données.
Plus d'informations à l'adresse suivante:
Sonification des Données du Boson de Higgs
Avec cet algorithme, on obtient les sons suivants:
- Piano Solo:
- Piano et Marimba:
- Plus d'Instruments:
(Piano, Marimba, Xylophone, Flûte, Double Basse et Percussion).
Voitures Electriques:
D'après les spécialistes, les voitures électriques, sans bruit, présentent un danger pour les piétons, les cyclistes, les mal-voyants, etc, et doivent être sonifiées sans pour autant augmenter la pollution sonore.
Des versions spéciales des systèmes d'exploitation iOS et Android existent pour les voitures. Beaucoup de données sont récupérées (vitesse des roues, données GPS, etc). Certaines données devraient permettre une sonification efficace, mais les algorithmes sont encore au stade de la recherche.
Pour plus d'informations sur le sujet:
Sonification des Voitures Electriques (1)
Sonification des Voitures Electriques (2)
Android Auto
CarPlay
vlrMemos:
Nous allons utiliser la sonification par mapping spectral (spectrale mapping sonification).
La sonification par mapping spectral permet de surveiller toutes les fréquences ou une bande précise de fréquences.
Pour plus d'informations, voir le manuel de la sonification ou lire l'article suivant:
Sonification par Mapping Spectral
Nous allons transformer les données du domaine des fréquences en notes de musique:
- Les amplitudes seront liées aux énergies spectrales.
- Les durées seront liées à la durée des trames, avec un facteur de compression de temps.
- Les fréquences seront liées aux centroïdes spectraux (centres de masse).
Par défaut, pour chaque canal, nous allons considérer une zone constituée de toutes les fréquences. Il y aura possibilité de limiter la zone. On affectera un instrument à cette zone (par défaut, le piano).
On donnera la possibilité d'affecter un instrument aux basses fréquences et un autre aux hautes fréquences, pour pouvoir étudier les rapports de puissance haute et basse.
On donnera la possibilité d'affecter un instrument à l'avant-plan (plus grands points ou points de plus grande magnitude) et un autre à l'arrière-plan (bandes les plus énergétiques). Ceci permettra d'isoler le bruit de fond ou d'étudier l'influence ou l'évolution de ce bruit.
Nous allons utiliser une librairie permettant de synthétiser les sons et d'utiliser les fontes sonores (SoundFont en Anglais), comme Timidity++ ou FluidSynth. Cette approche permettra de personnaliser les instruments par un simple remplacement des fontes.
Le multicanal sera possible, chaque canal étant traité comme une piste d'un fichier MIDI. Cette approche permettra, en multicanal, d'avoir une idée de la synchronie des canaux via la cohérence spectrale.
