Gros souci avec l'analyse des performances d'une trace sur VisuGPX

Bonjour Admin,

En premier lieu meilleurs vœux et très bonne Année 2022 à toi, tous les tiens, ton taf VisuGPX et plus globalement à tous les membres de notre sympathique communauté.

Jusqu’à présent je ne me suis guère préoccupé de mes performances en randonnée en observant le résultat de leur analyse sur VisuGPX. Il m’a donc fallu attendre la randonnée particulièrement atypique d’hier pour constater ce qui me paraît être une anomalie majeure dans le calcul des performances affichées par ton algorithme, mais :
Présentation du contexte : j’espérais profiter des conditions météo jamais rencontrées jusqu’à présent pour effectuer une première en raquettes à neige quelque peu osée :
la directe à la Pointe de la Fourche par sa crête/arête Nord-Est depuis la Base de Loisirs de Réallon.
Or malgré le redoux exceptionnel de ces derniers jours, la partie la plus pentue était sous une couche de gobelets sans aucune cohésion, d’où une progression particulièrement pénible et d’une extrême lenteur (0,9 km, +411 m en 3h05, un record absolu de lenteur !).
Du coup c’est la Marmotte qui a dû nous attendre 20 mn au point de rendez-vous pour un pique-nique à 14h ?
A L’analyse de nos traces :
- la sienne affiche un dénivelé très réaliste de +186m/h sur 3h58, tandis que :
- l’analyse de la mienne révèle un dénivelé de +441m/h sur 2h ?! Cherchez l’erreur !
Toujours aussi curieux par nature, je me suis empressé d’effectuer l’analyse du segment responsable de ma galère et d’obtenir le magistral résultat suivant : 0,9 km, +411 m, 441m/h sur 30mn !!! de mieux en mieux, n’est-ce pas ?

Même si je ne suis pas dans le secret de ton algo, j’en conclus que sont sorties de la statistique tous les temps correspondants à un déplacement non significatif, du genre : tenter de tasser la neige, venir en aide à ma coéquipière, etc… soit l’essentiel de la barrage pour arriver à en sortir par le haut !
Je ne sais pas comment tu vois les choses, mais il me semble que, au moins pour ce qui est de la randonnée, il serait souhaitable que ton algorithme garde dans sa statistique tous les instants de pauses inférieurs à un seuil de l’ordre de 5mn, sinon à quoi cela peut-il bien servir d’afficher des performances totalement irréalistes ?
Qu’en penses-tu ?
Dans l'attente, bien cordialement.
l’Ours

Les liens sur les preuves :
les traces du 02/01/2022
résultat de l’analyse du segment le plus calamiteux jamais réalisé (le 02/01/2022) !!!
à titre de comparaison, le résultat de l’analyse sur VisuGPX de la même trace enregistrée avec GPS_Logger par ma coéquipière.

Ce sujet m'intéresse. J'ai aussi eu à traiter des traces très bruitées du fait de les avoir enregistrées par un téléphone placé à dessein dans une poche de pantalon au lieu de la poche supérieure du sac à dos.
Mais je ne comprends pas trop le problème posé. Est-ce uniquement les statistiques interprétées par VisuGPX que tu questionnes? Tu indiques une trace enregistrée par ta co-équipière avec GPS_Logger. Cette appli, à ma connaissance, n'enregistre que la trace et donne au final des totaux assez succincts sanq véritable travail algorithmique. Cette trace est comme l'autre chargée dans VisuGPX. Où se pose le problème ?

Donc afin de mieux comprendre, peux-tu donner, pour chaque trace :
- l'appareil et l'appli, le cas échéant, qui a enregistré la trace
- s'ils diffèrent entre les 2 traces, les paramètres d'analyse dans VisuGPX : lissage, seuil, etc

Pour revenir à la question générale, au-delà de cet exemple, j'ai en effet moi-même souhaité pouvoir ajuster des paramètres permettant de mieux éviter les kilomètres de traces bruitées résultant des errements du GPS alors que j'étais en pause. Idéalement en opérant un nettoyage automatique (nuage de points mettant en évidence une pause, points anormalement éloignés de la route (vitesse entre 2 points absurde par rapport au reste des points voisins et de l'activité,...).
Si un algorithme performant devait être trop complexe, un outil permettant de plus facilement nettoyer manuellement la trace m'aurait rendu service.
En activité hivernale, la sensibilité des batteries au froid impose quasiment se conserver l'appareil au contact du corps, ce qui détériore significativement la qualité de l'enregistrement.

la Marmotte & l'Ours a dit :0,9 km, +411 m en 3h05, un record absolu de lenteur !
Oups ! 😂
la Marmotte & l'Ours a dit :Même si je ne suis pas dans le secret de ton algo, j’en conclus que sont sorties de la statistique tous les temps correspondants à un déplacement non significatif
Oui, il faut bien séparer ce qui relève de la pause de ce qui relève du déplacement. Cette limite est calculée en terme de vitesse et a été placée à 0.5km/h, j'ai pensé un temps pensé que même un pénitent qui ferait St Jacques de compostelle à genou irait plus vite, mais tu viens de me donner tort 😉

Sur ton segment www.visugpx.com/VlWuQ15RUc (03:05:02 de temps écoulé, déplacement pendant 00:34:15 et 02:30:47 de pause), ce qui donne une moyenne de 1.8km/h sans les pauses, et surtout une vitesse MAX (sur 100m) de 0.6km/h. Avec une limite pause/déplacement à 0.5km/h tu comprendras que le système pense que vous avez fait la tournée des bistrots !

Actuellement l'algo est effectivement un peu perdu si tu marches en dessous de 0.5km/h. Affiner l'algo serait certainement bien compliqué pour pas grand chose. Enfin, si tu te lances dans St Jacques à Genou je ferai un effort 😇

Admin a dit : 0.5km/h tu comprendras que le système pense que vous avez fait la tournée des bistrots !
Oh, le vache ! j'aurais bien aimé t'y voir ! sûr qu'avec ta forme olympique tu aurais bien mieux fait qu'un vieil Ours dans sa 77 année,
mais dans une portion à près de 45°, voir plus sur 10m, par sécurité par rapport à ma coéquipière j'ai préféré que nous déchaussions nos raquettes,
d'où avec les conditions de neige déplorables un enfoncement jusqu'à mi-cuisses dans la semoule, heureusement qu'il n'y avait pas de glace vive dessous !
J'ai parfaitement conscience qu'il s'agit là d'un cas limite quoique, en alpinisme sur les pentes encore plus raide il n'y a surement pas grand monde qui peut se déplacer à 0,5km/h à l'horizontale !?

Admin a dit :Enfin, si tu te lances dans St Jacques à Genou je ferai un effort

Mes genoux ne sont plus aptes, mais si ça ne te poses pas trop de problèmes, je milite pour un abaissement de ce seuil à son minimum, pour des résultats plus réalistes même pour les barjots comme moi !


Angstrom a dit :Donc afin de mieux comprendre, peux-tu donner, pour chaque trace :
- l'appareil et l'appli, le cas échéant, qui a enregistré la trace
- s'ils diffèrent entre les 2 traces, les paramètres d'analyse dans VisuGPX : lissage, seuil, etc

pour nos traces les enregistrements ont été effectués avec nos montres Suunto Ambit3, pour lesquelles je considère que depuis le printemps 2019 les algorithmes de Suunto ont été considérablement améliorés,
raison pour laquelle dans VisuGPX, je ne me sert plus du seuil (pour lequel j'ai suffisamment discuté avec Admin) et je fais un lissage sur seulement 3 pts, comme tu peux le constater sur les exemples donnés.
les résultats de Suunto sur ma trace étaient :
Distance : 9,56km Dénivelés : +905m / -923m compris entre [1428m et 2308m ] ([1424m et 2303m ] sur l'IGN Top 25, donc excellente précision à mes yeux !) durée totale : 7h47
la trace de ma coéquipière, comme indiquée, a été enregistrée en suivant tes conseils avec GPS_Logger sur SM Android :
Distance : 12,13km Dénivelés : +871m Temps : 8h04 (parce qu'elle n'a arrêté l'enregistrement qu'une fois bien installer dans la voiture toutes ses affaires rangées !)
les distances sont toujours surestimées à cause des aberrations des mesures GPS avec le SM dans la poche !
ce qui au passage permet de donner un sacré coup de chapeau à Admin pour son génial algorithme qui ramène cette distance à 9,22km, les 340m supplémentaires de ma trace pouvant en parti être dus à mes aller/retours pour l'aider !?
sauf que sur ma trace les 9,56km de Suunto sont ramenés à 8,98km par le même algorithme ! mais bon faut quand même pas poussé le bouchon trop loin, tous ces résultats sont globalement très satisfaisants.
Pour ma part je suis généralement assez déçu par les résultats obtenus avec les routeurs en préparation de mes randonnées lorsque leur mise en œuvre est possible,
j'obtiens de bien meilleurs résultats lorsque je procède en point à point en hors sentier, avec les routeurs les distances et les dénivelés sont toujours largement surestimés,
par rapport aux enregistrements et aux analyses de VisuGPX après réalisation sur le terrain.

Merci pour toutes ces précisions.
Je dois dire que je ne me suis jamais plongé vraiment dans les détails car mon activité la plus fréquente est le vélo avec un appareil placé sur le guidon. Pas de souci de réception satellite sur route dasn ces conditions. Mais avec le dernier raid en rando nordique, j'ai été confronté à des traces plus bruitées que d'habitude pour moi.
D'où mon grand intérêt de bénéficier de ton expérience, surtout si tu utilises (ou plutôt ta coéquipière) utilise la même appli que moi (mais pas le même téléphone). Donc quand tu écris:
la Marmotte & l'Ours a dit :ce qui au passage permet de donner un sacré coup de chapeau à Admin pour son génial algorithme qui ramène cette distance à 9,22km,
quels sont les réglages que tu utilises pour sa trace à elle?

Merci d'avance.

Angstrom a dit :quels sont les réglages que tu utilises pour sa trace à elle?

maintenant elle se débrouille comme un chef et est membre Primum_IGN de cette communauté !!!

ses réglages sont : à l'enregistrement, une mesure toutes les secondes et ou une distance minimale entre deux mesures d' 1m,
et pour l'analyse par VisuGPX, comme indiqué : pas de seuillage et un lissage minimal sur 3pts.
avec ses réglages les résultats obtenus sont comparables à ceux de nos montres et des analyses de VisuGPX,
et assez proche de la réalité me semble-t-il (à plus ou moins 5% à la louche !) ce qui me paraît presque miraculeux !?...

Merci pour ce partage d'expérience. Je vais faire quelques essais dans ce sens.

Angstrom a dit :Si un algorithme performant devait être trop complexe, un outil permettant de plus facilement nettoyer manuellement la trace m'aurait rendu service.

inutile de chercher le mouton à 5 pattes puisqu'il est déjà mis à notre disposition sur VisuGPX grâce aux performances de l'algo d'Admin !
en voici une démonstration susceptible de t'en convaincre : il s'agit d'une précédente randonnée toujours en raquettes à neige "le Pic Haut en traversée depuis Crévoux Station"
l'enregistrement avec GPS_Logger sur SM Android dans la poche de ma coéquipière : Distance = 9,94km, Dénivelé = +916m Durée totale = 6h42
Trace brute sur VisuGPX sans seuillage, lissage sur 3pts : Distance = 8,11km, Dénivelé = +921 -922m Durée = 4h15
Trace corrigée des aberrations GPS grâce à EditGPX toujours sur VisuGPX sans seuillage, lissage sur 3pts : Distance = 7,97km, Dénivelé = +920 -919m Durée = 4h15
donc pour moi inutile de se fatiguer à corriger les erreurs d'enregistrements puisque l'algo d'Admin fait le job de manière remarquable;
en voici pour la deuxième fois un résumé !!!

même s'il a été essentiellement conçu et mis au point par et pour un compétiteur à la forme olympienne, donc pas spécialement adapté aux commun des mortels comme ma coéquipière et moi,
tout particulièrement cette dernière trouve ses performances affichées par VisuGPX très surestimées et donc peux réalistes, d'où l'intérêt de ce fil sur le Forum.
Autant l'un que l'autre nous estimons en effet qu'en cours de randonnée, et tout particulièrement sur les fortes à très fortes pentes, les courtes pauses pour reprendre sa respiration et regarder le paysage, voire prendre une photo,
ont toutes leurs places dans l'évaluation du dénivelé horaire. Même si notre expérience de dimanche reste quelque peu caricaturale elle est bien réelle et en toute honnêteté, en reparcourant sa trace à la louche nous pouvons
affirmer que nous avons mis 5mn pour déchausser et attacher les raquettes sur le sac, 7mn pour l'opération inverse et un temps de récupération, 1h pour notre pique-nique, 2x5mn pour attendre la Marmotte dans la descente
et 16mn à l'arrivée avant de penser à arrêter l'enregistrement; soit un total de 1h40 sur près de 8h hors tout !! tout le reste du temps, elle n'a pas fait le tour des bistrots n'en déplaise à Admin !
au point même où sur le long faux-plat avant le sommet, comme nous n'avions pas pris le temps de notre habituelle pause ravitaillement, elle s'est contentée de 2 dattes que je lui ai offert à la volée !!!
d'où mon idée de ne pas seulement se contenter d'une vitesse minimale pour détecter les plages de pause, mais au contraire d'introduire un temps de latence de 1 à 5mn,
si l'on veut que les performances affichées par VisuGPX aient encore un sens pour les randonneurs qui ne sont pas des compétiteurs.
Bien cordialement
l'Ours

Très intéressant, merci l'Ours.
Quand tu écris :
la Marmotte & l'Ours a dit :Trace corrigée des aberrations GPS grâce à EditGPX toujours sur VisuGPX sans seuillage, lissage sur 3pts : Distance = 7,97km, Dénivelé = +920 -919m Durée = 4h15
tu parles d'un traitement dans EditGPX.
Avec quelle fonction EditGPX?
Pour moi, les réglages sur les seuils et les lissages se font lors de l'import dans VisuGPX.
Mais comme dit précédemment, je reconnais ne pas avoir creusé cette question outre-mesure donc je suis sûr de passer à côté de fonctions ou de manière de traiter des traces.

Angstrom a dit :tu parles d'un traitement dans EditGPX.
Avec quelle fonction EditGPX?

oh pardon, j'ai été effectivement un peu trop lapidaire, alors je précise que :
- avec EditGPX je me suis amusé de couper en aval et en amont de toutes les aberrations essentiellement au moment de nos pauses,
- puis j'ai tout bêtement bouché les trous avec quelques point-à-points et fusionner les morceaux précédents au fur et à mesure et ainsi obtenu la Trace corrigée,
- que j'ai remplacée dans VisuGPX d'où l'analyse présentée avec toujours le même paramétrage à savoir pas de seuillage et un lissage minimal sur 3pts,
pour que les résultats soient comparables bien évidemment.
En conclusion, je n'ai fait qu'appliquer 2 des fonctions les plus basiques d'EditGPX à savoir l'outil de coupure et celui de fusion de deux segments de trace,
c'est peut être un peu bœuf, mais simple et efficace, seul bémol, ça fait perdre l'horodatage d'où un résultat d'analyse réduit au strict minimum sur VisuGPX;
mais comme tout ce tralala c'est révélé parfaitement inutile (puisque l'algo d'Admin ne les comptabilise pas !) à moins de vouloir laisser à la prospérité une trace propre, ce dont je me contrefiche absolument,
si ceux qui la télécharge lorsqu'elle est rendue publique, ne sont pas capables de passer outre à ce genre de détail, ils n'ont qu'a s'abstenir et aller voir ailleurs,
comme déjà précisé sur un autre fil, mais il faut que j'arrête de me répéter !!! 😈

Merci pour toutes ces précisions. Je fais donc à peu près pareil.
Pour la correction des points intempestivement placés trop loin de la trace, quand ils sont peu nombreux, j'utilise la méthode suivante :
1) affichage des nœuds
2) clic droit sur les points éloignés pour les supprimer.
Le manque de points ne gêne pas. C'est très rapide, sauf quand on s'est arrêté longtemps et que cela a généré une trace en forme de véritable pelote.
J'adorerais avoir un outil "rectangle" permettant de dessiner une boîte sur une zone et supprimerait tous les points à l'intérieur de la boîte. GPXEditor, logiciel sous Windows qui n'évolue plus depuis des années, dispose d'un tel outil qui est diablement simple et efficace.

Un jour... peut-être 😁

Angstrom a dit :J'adorerais avoir un outil "rectangle" permettant de dessiner une boîte sur une zone et supprimerait tous les points à l'intérieur de la boîte.

OK, mais malgré tout le respect que je te dois, ne pousses-tu pas le bouchon un peu loin ?
En effet, combien te faut-il de clics pour la mise en œuvre de ton outil gomme en rectangle ?
Avec l'outil de coupure d'Admin : un clic avant la "pelote", un clic après et autre clic pour la mettre à la poubelle et c'est fait ! ultra simple à utiliser et d'une remarquable efficacité, comme toujours avec les outils d'Admin !
En conclusion je ne vois pas qu'apporterait de plus l'outil dont tu rêve ? mais c'est probablement parce que je n'ai pas eu l'occasion d'utiliser celui dont tu parle avec GPXEditor !?
En ce qui me concerne, si j'avais à hiérarchiser les priorités, je continuerais à penser qu'un ajustement plus réaliste de l'analyse des performances de VisuGPX passerait avant la mise en œuvre d'un tel outil dans EditGPX !

la Marmotte & l'Ours a dit :OK, mais malgré tout le respect que je te dois, ne pousses-tu pas le bouchon un peu loin ?

Merci pour "tout ton respect", l'Ours. C'est réciproque. Mais non, je ne pousse pas le bouchon. 😈 😉

VisuGPX/EditGPX est le formidable outil que nous utilisons grâce à Admin et ses qualités de développeurs exceptionnelles, son efficacité et le fait qu'il soit le 1er utilisateur de son propre outil. Mais il ne faut pas oublier que l'outil a aussi beaucoup progressé grâce à la spirale vertueuse demandes /suggestions pertinentes des utilisateurs -> écoute/compréhension du besoin par Admin -> arbitrage intelligent -> mise en œuvre astucieuse, intégrant souvent des améliorations ou au contraire des simplifications lumineuses.

Selon moi, VisuGPX/EditGPX doit son succès au fait que c'est un super couteau suisse pour gérer, éditer, préparer, partager nos traces. Comme tout couteau suisse, il a les fonctions essentielles (la lame principale): si elles n'existaient pas, on n'aurait pas de couteau. Et il y a ensuite une suite de fonctionnalités qui, prises individuellement, ne sont pas essentielles, mais qui, agrégées, font la différence avec toutes les autres solutions.
Je pense que c'est sur ce plan que Visu se distingue et s'est retrouvé au fil du temps dans une position réellement dominante. Admin a l'intelligence de comprendre que le processus d'amélioration continue de son outil est son principal avantage concurrentiel. Comme il est utilisateur lui-même et rapide comme l'éclair, il n'a pas besoin de longues réunions, de process, de road-map et autres outils nécessaires quand on travaille en équipe. Il réfléchit et fait (ou pas). Les utilisateurs de l'outil que nous sommes sont engagés et donc lui procurent le feed-back et une partie des idées (et un peu le test). Certes, il a aussi ses habitudes bien à lui et il se retrouve quelques fois isolé. Ca n'est jamais un problème, c'est très rarement sur un point bloquant (de toutes façons, il est chez lui). Mais il y a eu plusieurs exemples de demandes qu'il a initialement mises de côté car il considérait que sa méthode proposée était la bonne ou suffisante. Exemple: création une trace à partir de plusieurs traces récupérées. Pour lui, les outils existants étaient très rapides et permettaient de faire le job (découpe, fusion; ça te rappelle qq chose? 😉 ). Et puis, un jour, il nous a pondu le mode décalque. Génial! Beaucoup mieux que ce qui existe ailleurs! 🤩 Je serais surpris qu'Admin lui-même ne le trouve finalement pas super génial et un très bon ajout dans la panoplie des outils.

Dans le cas qui nous occupe ici, tu as raison:
la Marmotte & l'Ours a dit :je ne vois pas qu'apporterait de plus l'outil dont tu rêve ? mais c'est probablement parce que je n'ai pas eu l'occasion d'utiliser celui dont tu parle avec GPXEditor

Si tu avais utilisé cette fonctionnalité, tu la trouverais sûrement plus simple et très pratique.
Est-ce que je peux vivre sans? Bien sûr!!
Est-ce que je pense qu'elle serait plus intuitive pour des débutants, plus rapide, et utilisée (même par toi) si elle existait? Bien sûr aussi!!
Je n'ai pas fait une demande, j'ai exprimé un "rêve". Ca veut bien dire ce que ça veut dire.

VisuGPX est un outil désormais très mûr. A part quelques aspects de la solution très structurants (pas d'appli native, ce qui empêche pour le moment de faire de l'enregistrement de trace; interface utilisateur avec beaucoup de scrolling) et donc qui demanderait beaucoup de travail de refonte, Visu n'a pas de gros manques évidents (pour moi). Donc ce qui compte, à ce stade, c'est bien l'expérience utilisateur: comment permettre aux utilisateurs, (il ne s'agit pas de faire qq chose pour un seul d'entre eux) de faire ce qu'il a à faire le plus facilement, le plus intuitivement et le plus rapidement possible?

On est donc dans le domaine de "l'amélioration incrémentale", petit pas par petit pas. C'est bien ce petit pas de plus pour faciliter le nettoyage des traces qui me ravirait.

[Aparté]: Pour toi, le manque d'horodatage résultant de l'ajout de points à la main est un détail sans conséquence, et je comprends bien pourquoi, dans ton utilisation.
Mais ça n'est pas forcément le cas de tout le monde. En effet, certains sites de partage de traces n'acceptent pas les traces sans horodatage et même avec des trous dans l'horodatage (Strava, Komoot).
Une des traces enregistrée en décembre avait tellement de bruit que les écarts avec la distance et le D+ réels étaient de + 20% voire +25%. Donc le nettoyage de cette trace s'impose. Imaginer des solutions, soit automatiques, soit manuelles les plus simples et rapides pour gérer ces cas est peut-être un besoin que je suis seul à vouloir combler, mais je n'en suis pas si sûr. D'où le partage de mon "rêve".

Il se trouve que, même si je ne suis pas développeur moi-même, j'ai assez travaillé avec des développeurs pour me douter que la fonction visant à définir un rectangle à la souris et supprimer tous les points dans ce rectangle ne devrait pas être très longue à programmer/tester. Je ne suis pas du tout pressé, mais j'ai bon espoir qu'Admin se rende compte de l'intérêt de rajouter un outil supplémentaire pour faire ça simplement.
Après, s'il veut se faire plaisir (et moi avec) pour imaginer un truc encore plus bluffant pour traiter algorithmiquement un nettoyage de trace, qui élimine les points aberrants en fonction du contexte, un nettoyage "intelligent" qui évite de se retrouver avec des vitesses max à 153 km/h pour une sortie en raquettes, je ne vais pas essayer de l'en dissuader ... 😜

[Edit] @Admin: Idée pour l'outil de nettoyage. Création de l'outil "gomme", comme dans Paint de Windows, qui convertit tous les pixels sous la gomme en blanc. Un outil "gomme" dans Edit, qu'on passerait à la souris sur une trace pour supprimer les points sous la gomme serait super intuitif et hyper rapide. Après, je ne sais pas comment ça fonctionnerait avec la techno de dev Web que tu utilises...
[Edit 2]: 2ème idée. Quand on passe en mode édition d'une trace horodatée, ne serait-il pas possible de calculer une valeur d'horodatage sur les points rajoutés à la main, déduit des 2 points voisins horodatés?

Je ne peux bien évidemment que m'incliner et souscrire à ce brillant plaidoyer, dans le seul but que nous soyons tous gagnants !