Jean-Pascal M.

La meilleure façon de ne pas avancer est de suivre une idée fixe (J. Prévert)

Archive for the ‘Interaction Homme Machine’ Category

Cartographier Wikipedia avec Processing

Posted by Jean-Pascal sur 2 juin 2016

Dans cet article, je propose une approche originale pour aborder un nouveau domaine tel que l’Art Génératif.

Que signifie l’expression « Art Génératif » ? Faut-il s’en tenir à la définition, où avant de plonger en apnée dans ce domaine, faire un détour par les termes ou expressions proches ? Je pense par exemple à Design Génératif, Art Algorithmique, Computer Art, Infographie, Data Visualization…

Quelle méthode utiliser pour trouver la relation entre ces termes, et trouver par exemple les artistes, les méthodes ou les logiciels de référence de ce domaine ?

Hélas, le web est un océan dans lequel nous, minuscules internautes, naviguons à vue, inlassablement, toujours fasciné par son infinité.

Utilisez par exemple The Internet Map (http://internet-map.net/). Cette carte positionne les 350.000 sites les plus visités au monde en 2011. Ceux-ci sont figurés par des disques  qui s’attirent et se repoussent subtilement, comme si les URLs qui les unissent étaient des ressorts. L’exemple qui suit montre bien la cohérence des liens associés au site lemonde.fr :

The Interne Map - le monde

Mais cette carte a plusieurs défauts. L’interactivité est limitée, les liens ne sont pas montrés, les disques représentent des sites et les informations sont bien trop nombreuses !

Alors comment utiliser le web pour découvrir un domaine nouveau ? Pour ma part, le premier compagnon de toutes mes recherches est Wikipédia. A la différence du web en général, Wikipédia offre une synthèse structurée et encyclopédique des connaissances humaines. Structurée vous dites ? Oui, les pages sont reliées entre elles grâce à des liens typés, et elles sont même rangées dans des catégories assez générales !

clusterball

source Infosthetics.com  (site génial)

Heureusement, le language Processing va combler ces manques grâce à un code fourni par les auteurs de Generative Design (http://www.generative-gestaltung.de) dont j’ai parlé dans l’article précédent.

Les codes sources sont librement accessibles en ligne et nous allons utiliser un exemple fournit à la fin du livre dans le chapitre M 6.4.1 Structures de données dynamiques, placement par champ de force.

Voici une vidéo montrant le code en fonctionnement. C’est juste magique !

M_6_4_01_TOOL from Generative Design on Vimeo.

Hélas, j’ai rapidement buté sur une des limites de l’application : je souhaitais l’utiliser pour comprendre le domaine du design génératif, mais en cliquant à gauche et à droite, je n’arrivais pas à trouver les liens qui relient les termes de base entre eux. On s’y perd très vite !

Comment faire pour trouver le(s) chemin(s) le(s) plus court(s) qui les relie(nt), deux articles Wikipedia ? Comment apréhender rapidement le contexte autour d’un ou plusieurs articles ?

Comment obtenir, par exemple, à partir des termes « Infographics » et « Generative Art » le chemin suivant (il existe) :

160531_162010

Je ne voulais pas pour autant coder une heuristique de recherche de chemins, mais plutôt m’appuyer sur la représentation très visuelle offerte par le code développé par Generative Design, et sur nos capacités naturelle d’exploration.

J’ai donc apporté plusieurs modifications au code afin de pouvoir :

  1. Initialiser le graph avec plusieurs termes
  2. Demander l’ouverture de tous les nœuds du graphe d’une pression de touche (touche E : « expansion »)
  3. Demander la suppression de tous les nœuds n’ayant moins de deux liens (touche C : « Compression »)

Reprenons l’exemple des connexions entre les articles « Generative Art » et « Infographics » ?

J’ai initialisé le programme avec ces deux valeurs, en modifiant le code l.67 :

String [] startKeywords = {"Infographics", "Generative Art "};

J’ai ensuite utilisé le menu (touche “m”) et réglé le paramètre “Result Count” à 34.

J’ai ensuite demandé l’expansion du graphe : Touche « E ». On obtient un graphe à 78 noeuds.

Comme il n’y avait pas de lien commun, j’ai à nouveau pressé la touche E, puis une troisième fois. Le nombre de nœuds augmente considérablement pour remplir tout l’écran !

160531_132806

C’est beau, mais peu exploitable, alors j’ai ensuite pressé « C » afin de supprimer tous les nœuds ayant moins de 2 connexions.

160531_133215

Le résultat est bien plus parlant. Il est possible de commencer à travailler sur cette map.

On constate l’apparition de grands domaines, tels que les statistiques avec leurs représentations graphiques (Histogram, Boxplot, Barchart…), les probabilités, les groupes de données (séries temporelles), les systèmes d’information géographiques (SIG), bref des concepts plus ou moins lointains mais inspirants. Je supprime néanmoins ces nœuds de la carte, et je presse « C » pour nettoyer.

160531_134352

On trouve aussi beaucoup de noms propres ou de lieux tels que le Victoria and Albert Museum, que je supprime aussi de la carte, mais que j’ajoute dans ma liste des musés à visiter :). On trouve aussi des termes comme les « dark data ». Voici un sujet pas inintéressant qui mériterait d’être cartographié… On trouve des nœuds faisant le carrefour entre des concepts, sans valeur ajoutée, tels que « List of engineering branches », ou « International Standard Book Number ». Je les supprime et je presse « C ».

De nombreux noms d’artistes sont maintenant bien visibles. Plus proches du nœud « Art », on trouve Miguel Chevalier, Pascal Dombis, Sonia Landis Sheridan, Frank Popper, Joseph Nechvatal… J’accède à leurs articles Wikipepia (double clic droit) pour les découvrir, c’est si simple.

160531_134352

Plus proche du nœud « Infographics » : Charles Joseph Minard, Nigel Holmes, Thomas A. Defanti, Jacques Bertin qui semble composer un groupe, mais aussi James Joseph Sylvester

160531_135602

J’ai ensuite retiré ces noms pour obtenir une carte assez intéressante du domaine.

160531_140821

J’ai enfin retiré quelques notions trop vagues (timeline, Latin) ainsi que les noms propres pour ne trouver que les domaines parlants et une carte simplifiée.

160531_150547

Je m’arrête ici dans cette recherche. Cette navigation m’a beaucoup appris, car j’ai parcouru plusieurs dizaines d’articles wikipedia (double clic-droit).

Le code pour réaliser cette navigation est disponible en téléchargement. Pour l’utiliser, il suffit de le télécharger, de le dézipper et de l’ouvrir avec Processing 3+. N’hésitez pas à changer les paramètres d’initialisation pour mettre vos propres termes !

 

Consultez tous les articles sur le Design Génératif.

 

Posted in Design, Design Génératif, Interaction Homme Machine | Tagué: , , , , , , | Leave a Comment »

Les nouveaux instruments de musique

Posted by Jean-Pascal sur 26 juillet 2009

Peut-on encore créer de nouveaux instruments de musiques ? Peut on créer des instruments qui exploitent à la fois l’expressivité dont l’humain est capable et le potentiel qu’on les machines à produire du son ? Voici trois instruments qui ne sont pas des claviers ou des surfaces de contrôle. Ces trois instruments ont la particularité d’associer des sons totalement spécifiques à une interfaces de contrôle originale. C’est en ça qu’il s’agit bien d’instruments, et non pas d’expandeurs auxquels une surface de controle est associée. Ils ont été pensés globalement, afin d’associer un mouvement à un son, et à une performance visuelle.

Le Zoybar

http://www.zoybar.net/

Zoybar est une initiative collective de création d’instrument de musique. Sur la base d’un ensemble de composant, un Zoybar (une sorte de guitare) peut être construite. Mais rien n’est imposé ici. Les pièces peuvent être utilisées si on le souhaite et comme on le souhaite. L’ajout de composant complémentaires est encouragé. Ainsi, le Zoybar peut se voir ajouter un pied très long pour se rapprocher de la contrebasse, ou un kaos pad peut être fixé dessus pour ajouter des traitements temps réel sur le son.

Pièces dun Zoybar

Pièces d'un Zoybar

le String Thing

le String Thing de Benjamin Dove

le String Thing de Benjamin Dove

EWI 4000SBenjamin Dove propose un instrument qu’il a construit de part en part :

Le string thing s’utilise comme un instrument classique : il réagit au son qu’il produit, et les mouvements du musicien sont en relation visuelle avec le son émit. L’instrument fournit donc des sensations au musicien et aux éventuels spectateurs. Il est composé de 4 cordes disposées à la manière d’une contrebasse. Ces quatre cordes fournissent au système quatre hauteurs déterminées par un système complexe de laser affichant un point rouge sur les doigts du musicien, ce point rouge permettant à une webcam de déterminer la hauteur. Dans son rapport, Benjamin Dove expose clairement les tentatives abandonnées pour obtenir cette information. La pression est récupérée grâce à une bande conductrice avec laquelle les cordes font contact quand elles sont pressées. Un point fort à mon sens est que les cordes vibrent réellement – la fréquence est réglable dynamiquement – grâce à quatre électro-aimants. L’objet inventé est impressionnant, et s’il atteind en apparence ses objectifs, le côté prototype est encore rédibitoire puisque la latence semble très importante (bien que deux pc soient utilisés simultanément pour traiter l’information).

site officiel : http://bdove.net/idii/string_thing/

l’EWI 4000s

L’EWI 400S n’est pas un saxophone numérique. Il s’agit d’un instrument à part entière, qui ne tente pas l’imitation à tout prix. Cependant, il a intéressé de grands saxophonistes comme Mickael Brecker.

l'EWI 4000 S d'AKAI

l'EWI 4000 S d'AKAI

Le Tenori-on
tenori_on_medium_jpg

le Tenori-on de Yamaha

http://www.yamaha-europe.com/yamaha_europe/france/10_musical_instruments/70_synthesizer/10_synthesizer/10_synthesizer/10_no_series/100_TENORI_ON/index.html

Posted in Interaction Homme Machine, Musique | Tagué: | Leave a Comment »

IHM et production audiovisuelle, journée professionnelle de CAP DIGITAL / IRCAM

Posted by Jean-Pascal sur 13 novembre 2007

centre beaubourg 

Beaubourg, le 12 novembre 2007

Quelles différences y a-t-il entre un chercheur en interaction homme machine américain et un français ? y a-t-il seulement une différence ? bien que je ne sois pas en capacité de répondre, j’ai l’impression persistante d’une conférence à l’autre que les chercheurs américain savent de quoi ils parlent (beaucoup de français aussi bien entendu) mais ils ont en plus l’expérience de ce qu’ils racontent. S’agit-il d’un effet de forme ? Commençons par la forme : Alors que côté français, les présentations sont aussi variées que les présentateurs, il semble qu’il existe un consensus outre atlantique sur la nécessité d’ancrer le discours dans le vécu. Ce qui amène bien souvent à commencer la présentation par la première souris ou autre étrangeté historique. Le premier intérêt, évident, est de dire « j’y étais ! », ou comme dit Douglas Coupland dans Microserf (le texte intégral est en ligne !), faire parti de la version 1.0, la consécration pour un développeur.

Bref, nos amis anglo-saxons exposent systématiquement les leçons qu’ils ont tirées de leur expérience professionnelle, et ces leçons (ou rêgles, théorèmes, axiomes) sont toujours composées de trois, quatre ou (exceptionnellement) cinq items.

Lire la suite »

Posted in Ingénierie logicielle, Interaction Homme Machine, Systèmes d'Information AudioVisuels | Leave a Comment »

Projet de recherche sur les plateformes numériques audiovisuelles

Posted by Jean-Pascal sur 18 mai 2006

Mon projet de recherche porte sur le développement des plateformes numériques audiovisuelles. En faisant le constat que les démarches actuelles sont en difficultés – elles reposent sur l’analyse numérique du signal et sur la description objective des contenus – j’ai choisi un centrage anthropocentrique qui a pour impact de fournir de nouveaux modèles de documents audiovisuels intégrant des éléments d’interprétation du contenu, mais qui permet la création de systèmes d’aide à l’indexation fondés sur une meilleure compréhension de l’interaction homme machine en situation d’indexation. A cette fin, j’ai choisi de prospecter de manière transversale par rapports aux disciplines, qu’il s’agisse d’ergonomie, de psychologie cognitive et expérimentale, de philosophie ou de recherche d’information, d’ingénierie des connaissances et génie logiciel.

projet scientifique

I – étude de la cohérence de documents AV. étude des représentations de AV. Étude de la sémiogénèse

II – étude du partage de référence et de l’échange de connaissances homme-machine

III – extensions des standards industriels. Construction de méthodologies d’expertise du domaine

IV – développements autours des nouveaux usages (réseaux hypervidéo, videoblog/podcast vidéo)

Mots clés :

document audiovisuel, analyse de contenu, indexation, interprétation, annotation, communication homme-machine, analyse morphosyntaxique, graphes de signes, ontologie, sémantique de l’audiovisuel,

Posted in DAM, Ergonomie Cognitive, Ingénierie logicielle, Interaction Homme Machine, Psychologie Cognitive, Sémiologie, Systèmes d'Information AudioVisuels | Leave a Comment »