WebServer étrange

Charles

@AuFilElec
Géniale ton interface WEB pour les zones, c'est cool

Pour l'interface WEB je viens de tout passer en AsyncTCP (merci à @me-no-dev) et je t'assure qu'au niveau performance, c'est juste le jour et la nuit, avant au 1er refresh le temps de charger bootstrap ça prenait genre 3/4 secondes, maintenant en moins d'une seconde c'est bouclé!
En plus j'ai tout migré en WebSockets et j'ai ajouté une console série WEB pour passer des commandes, la config et voir les LOG, ça commence à donner un truc qui me plait.
Plus qu'a finaliser et intégrer ça dans le remora car pour le moment c'est pour un autre projet.

Tu peux déjà regarder l'exemple de la console Web Serial to Websocket si tu veux c'est ici car il y a aussi un dossier intéressant (webdev) qui contient :

des scripts nodejs pour le développement de l'interface web afin de tester les pages Web de dev rapidos sans avoir à les flasher dans l'ESP
un script pour copier tous les fichiers de dev sans le dossier data pour flash dans la SPIFFS

J'utilise le même principe sur remora et WiFinfo avec qui scripts plus avancés car ils minifient les js et css non minifiés, et en plus ils les concatène tous en 1 seul fichier pour un chargement plus rapide depuis l'ESP vers le browser.

AuFilElec

Super nouvelle @Charles , je vais tester ça au plus vite, ça me plaît déjà.

Justement, j'attendais avec impatience la gestion des logs dans l'interface Web, car j'avais lu que tu avais l'idée de le faire. Alors, je suis au anges

Pour la partie développement, j'utilise le npm http-server pour ne pas flasher toutes les 2 minutes, il redirige les requêtes vers le Remora. Et j'utilise l'outil de Yahoo (yuicompressor) pour minifier les scripts JS et CSS. J'en ai aussi profiter pour minifier le HTML, mais je n'ai pas encore automatisé tout ça.

Salut @mjeanne , de tout ce que j'ai vu dans le code, dans la partie télé-info, les allocations me paraissaient suffisantes (caractère de fin de chaîne compris), mais je vais y jeter un œil à nouveau. D'ailleurs @Charles , il y a une partie de code que j'ai un peu de mal à comprendre dans la Lib LibTeleInfo.cpp aux alentours de la ligne 263, peut être pourrais-tu m'éclairé ?

// First String located after last struct element
// Second String located after the First + \0
newNode->checksum = checksum;
newNode->name = (char *)  newNode + sizeof(ValueList);
newNode->value = (char *) newNode->name + lgname + 1;

Je ne comprends pas bien ce qui est fait.

@mjeanne , j'était déjà partit sur la vérification du nombre d'utilisateurs connectés en mode AP, voir mon post plus haut, mais merci pour l'info.

Merci @Fab_33 , je vais regarder ça de plus près. Pour ma part, je suis sur Jeedom, mais je n'utilise pas le plugin Remora pour le moment, car je trouve qu'il stresse trop le Remora. Par contre, j'envoie les données de la télé-info sur mon Jeedom et ça c'est cool.
Il va falloir que je regarde node-red de plus près, car je ne connaissais pas.

Je suis bien content de voir que ça bouge par ici, j'avais peur que le projet se meurt et tombe dans les oubliettes. Ça serait dommage, vu les possibilités qu'offre le Remora.

Bonne journée à tous

scalz

beau boulot Charles, comme d'hab

AuFilElec

Salut @scalz , ça fait plaisir de te voir ici.

scalz

@AuFilElec :

hihi tout le plaisir est pour moi aussi. et de voir que tu aides ici aussi c'est bueno
ca fait partie de mon trio favori avec mys et jeedom mais je ne suis actif qu'à un endroit pour l'instant malheureusement.. Charles a bossé dur en coulisse, ça va être extra de chez extra.

jsuis ancien dev mais je le resterai toujours! (et ancien veut pas dire que je suis vieux ahah). Vu que j'ai pas trop le temps pour l'instant quand je vois ce qu'à fait Charles, ui, websockets, wow youpie yeah, je ne peux que kiffer, je plussoie, j'en souris jusqu'au oreilles car c'est sur ma todo, de pouvoir manager ma gw et mes nodes même si pas de controller (j'avais comme idée esp server async websockets, et appli mobile hybride..).

pff trop trop hate de vous rejoindre, jvais finir par rouiller lol et quand je vois async etc, truc de geek de developper, ça me donne envie de plonger dedans, mais non non faut pas que jfasse l'abeille et que jme mette à butiner...faut que je finisse mes design de gizmos avant, que j'ai hâte de montrer d'ailleurs...

@+

Charles

@scalz
ouais c'est compliqué (voir même complètement fou) de vouloir gérer le hard et le soft, nous sommes que des humains, notre gros soucis c'est que le temps est le même pour tout le monde et il nous faudrait des journées de 48H, une soft, une hard hahahaha

En plus tout le socle Arduino ESP8266 ça bouge tout le temps, l'équipe est super active et réactive, ça avance vite et une version OK peu ne plus compiler 6 mois après car tout à changé mais que en bien !

Ah oui je ne vous ai pas dit aussi, j'ai tout passé le JSON avec la super librairie ArduinoJSon de Benoit (encore un Frenchy), la encore trop de la balle à tel point que la AsyncWeb socket de @me-no-dev inclue tout ce qu'il faut pour s'intégrer avec cette lib.

Après je suis pas super calé en C++ (class, template, virtual) et parfois je galère pour contribuer aux codes de ces super dev. En revanche le C ça va très bien

@AuFilElec
Pour la partie du code dont tu parles, tu as du voir mais je fais un rappel, plus on aura d'yeux sur le soucis plus vite on le trouvera (bien que je suis pas certain que ça vienne du code, je l'utilise sous linux depuis des lustres sans le moindre soucis). Donc

La structure de la liste chaînée _ValueList contient pour chaque élément (je fais grace du premier (root) qui est vide)

// Linked list structure containing all values received
typedef struct _ValueList ValueList;
struct _ValueList 
{
  ValueList *next; // next element
  uint8_t checksum;// checksum
  uint8_t flags;   // specific flags
  char  * name;    // LABEL of value name
  char  * value;   // value 
};

Donc pour chaque élément, tu as:

*next un pointeur sur la même structure du prochain élément, sauf si nous sommes sur le dernier élément bien sûr auquel cas ce pointeur est NULL
checksum la checksum du couple LABEL/VALUE de l'élément
flags des drapeaux servant a savoir su l'élément vient d'être ajouté, ou juste modifié, .. (par exemple une valeur IINST modifiée)
*name un pointeur sur la chaine qui va contenir le nom du label (ex IINST)
*value un pointeur sur la chaine qui va contenir la valeur (ex 23)

Ce qu'il faut bien comprendre c'est que quand tu alloues un élément de la liste chaînée (parce que viens de recevoir une nouvelle étiquette) tu n'as pas la taille pour stocker le nom de l'étiquette ainsi que sa valeur, ce ne sont que des pointeurs *name et *value il faut donc allouer l'espace mémoire nécessaire et c'est la qu'interviennent les lignes dont tu parles.

Donc dans un 1er temps on crée un node vide de la taille de la structure auquel on ajoute la taille de l'étiquette+1 et de sa valeur+1 (les 2 +1 pour les fins de chaine \0) newNode


      // Our linked list structure sizeof(ValueList)
      // + Name  + '\0'
      // + Value + '\0'
      size_t size = sizeof(ValueList) + lgname + 1 + lgvalue + 1  ;
      // Create new node with size to store strings
      if ((newNode = (ValueList  *) malloc(size) ) == NULL) 
        return ( (ValueList *) NULL );
      else 
        // get our buffer Safe
        memset(newNode, 0, size);
      
      // Put the new node on the list
      me->next = newNode;

Ensuite on positionne les valeurs de la structure, et la, c'est la ruse on stocke la chaîne du nom à la fin de la structure (car y on a réservé plus de place), donc son pointeur est l'adresse du noeud + la taille de la structure
newNode->name = (char *) newNode + sizeof(ValueList);
et enfin le pointeur de la valeur juste après la valeur du nom
newNode->value = (char *) newNode->name + lgname + 1;

D'ou le code suivant:

      // First String located after last struct element
      // Second String located after the First + \0
      newNode->checksum = checksum;
      newNode->name = (char *)  newNode + sizeof(ValueList);
      newNode->value = (char *) newNode->name + lgname + 1;

Et après on y copie label + valeur

      // Copy the string data
      memcpy(newNode->name , name  , lgname );
      memcpy(newNode->value, value , lgvalue );

Voilà j'espère avoir pu éclairer sur le sujet

Et Tadaaaaaaaaaaaa , la vache, en écrivant ça je viens de percuter sur un truc, je crois comprendre ce qu'il se passe et je pense avoir trouvé le bug !!!!!
L'ESP aligne par défaut les structures et leur contenu sur 4 octets et donc en fonction des tailles label/value tout peut changer et on se retrouve avec des alignement foireux (j'ai déjà rencontré ce souci en sauvant des config sous forme de structure en flash) que j'ai réglé avec des directives pragma pour aligner sur 1 octet.

Peux-tu essayer de changer le code de déclaration de la structure en y ajoutant les pragma avant et après déclaration de la structure? Si ça ne suffit pas il faudra aussi tenter d'aligner malloc pour label/value sur 4

#pragma pack(push)  // push current alignment to stack
#pragma pack(1)        // set alignment to 1 byte boundary

// Linked list structure containing all values received
typedef struct _ValueList ValueList;
struct _ValueList 
{
  ValueList *next; // next element
  uint8_t checksum;// checksum
  uint8_t flags;   // specific flags
  char  * name;    // LABEL of value name
  char  * value;   // value 
};

#pragma pack(pop)

Bon tests

Charles

AuFilElec

Ok, effectivement je n'avais pas vu ça de cette manière, le stockage du nom et de la valeur. Il faut dire que mes notions de C remontent maintenant à quelques années. Donc pas simple de s'y remettre. Vu que je n'ai fait quasiment que du Web depuis 10 ans.
Merci pour l'info et en prime, ça t'a donné une idée sur ce qui pourrait déconner

Je suis en train d'intégrer les Websockets dans le code du Remora en ce moment, donc je ferai ces tests là un peu plus tard.
D'ailleurs, j'avais vu sur le dépôt de me-no-dev qu'il gère aussi le JSON, c'est vraiment trop fort, bientôt il nous préparera le café et viendra nous le servir

J'ai créé une branche spécifique pour l'intégration des websockets, donc on pourra échanger si tu veux.

Je suis vraiment fan de ce projet et il y en a un autre qu'y a attiré mon attention ULPNode.

Charles

@AuFilElec
Ouais j'avais intégré aussi les WebSockets dans WifInfo, mais l'ancienne version (pas async) et j'ai du tout rechangé (web server aussi) car c'est maintenant intégré au Async, mais c'est bon le boulot est fait maintenant, au moins j'aurais plus ça à faire.

Pour le Bug, je pense j'ai trouvé un truc pour faire un align ici avec xPortWantedSizeAlign()

le code suivant modifié dans LibTeleinfo.cpp devrait fonctionner, à tester

      // Our linked list structure sizeof(ValueList)
      // + Name  + '\0'
      // + Value + '\0'
      size_t size ;
      #ifdef ESP8266
        lgname = xPortWantedSizeAlign(lgname+1);   // Align name buffer
        lgvalue = xPortWantedSizeAlign(lgvalue+1); // Align value buffer
        // Align the whole structure
        size = xPortWantedSizeAlign( sizeof(ValueList) + lgname + lgvalue  )     ; 
      #else
        size = sizeof(ValueList) + lgname + 1 + lgvalue + 1  ;
      #endif

      // Create new node with size to store strings
      if ((newNode = (ValueList  *) malloc(size) ) == NULL) 
        return ( (ValueList *) NULL );

Quand tu veux pour échanger, au contraire, ce sera avec plaisir et sur tous les sujets, puis ton interface des zones c'est cool, j'aimerais trop l'intégrer

AuFilElec

C'est avec grand plaisir que je partage mon travail, si il peut servir à d'autres, c'est le principe de l'open source.
Si tu veux, je vais mettre ça au propre et je t'envoie une pull request sur ton dépôt.

Je galère un peu avec l'intégration du JSON avec l'utilisation des websockets, mais ça va venir. Je m'occuperai du problème de télé-info après, car j'ai hâte d'avoir les websockets en place

Charles

ça j'ai et fonctionnel en plus (Json, WebSocket, Console et Async)

Je release pas pour le moment, mais je peux t'envoyer le code, en plus c'est le même format que WifiInfo et remora alors si tu peux t'en inspirer pour le coller dans le remora, au contraire on restera cohérent et l'intégration sera bien plus facile

Si tu le gardes pour toi pour le moment je t'envois les sources...

AuFilElec

Ok, c'est cool. Je le garderai bien au chaud et cela m'économisera des heures de boulot.

Charles

Je viens de créer un private repo github (depuis le temps que j'en avais besoin aussi)
si tu me donnes ton compte github je t'ajoute sur le repo

Charles

Je viens de publier un correctif potentiel dans la librairie téléinfo pour les problèmes d'étiquettes erronées, quelqu'un peut tester et me faire un retour ?
Tout est sur le repo dédié

AuFilElec

Salut @Charles ,

Je suis à 2 jours et 7 heures d'uptime, je vais attendre encore un peu pour voir les logs lorsqu'il se mettra à planter, si je peux tirer quelque chose. La dernière fois, il a planté après 2 jours et 14 heures.

Ensuite je passe ton correctif pour tester et je te tiens au courant, mais faudra encore attendre au minimum 2 jours, voir une semaine d'après ce que disait @Fab_33 .

AuFilElec

Salut @Charles ,

Je voulais savoir un truc, dans le projet Remora, il y a la lib LibLibTeleInfo qui est un fichier en dur dans le projet. N'est'il pas mieux de mettre la lib direct dans les libraries de l'IDE Arduino et d'y faire appel dans le projet Remora ?

Sinon, mon Remora en est à 3 jours et 8 heures et la télé-info est toujours OK. Ce que je ne comprends pas dans les problèmes d'alignement dont tu parlais, c'est que si il y a ce problème, il devrait intervenir de suite, pourquoi apparaîtrait'il après plusieurs jours ?
Le problème d'alignement est bien un décalage de byte dans le registre mémoire ?

Pour les corrections JS dont je t'ai parlé hier, je vais attendre que tu bascules sur le fichier main.js pour te proposer les modifications, cela m'évitera une gymnastique comme l'autre jour

Fab_33

Moi le problème est ttoujours le même. Au bout d'un certain temps la requête http://IP/tinfo me renvoie juste }"

AuFilElec

Et bien, pour le moment, la Remora a un uptime de 5 days 8 hours and 20 minutes et la télé-information est toujours OK. J'attends encore jusqu'à la fin de la semaine avant de tester les modifications de @Charles .

Charles

@AuFilElec
Ah yes t'as raison la vache j'avais oublié ça, dans remora il prend liblibteleinfo donc les modifs sur la lib originale ne sont pas appliquées puisqu'elle n'est pas prise en compte (c'est corrigé je viens de pusher la nouvelle LibLibTeleinfo sur remora_soft), donc sur remora les modifs étaient inefficaces.
D'ailleurs, je songe très sérieusement à arrêter le support de Particle dans remora, le code devient ingérable (preuve en est) et illisible. En plus pas de serveur WEB sur Particle (enfin un vrai, simple) et Cloud dépendance, bref, ya pas photo...
Bien sur j'aimerais bien qu'il prenne la lib dans le dossier librairie de l'IDE Arduino, et il le fait (l'ESP), sauf que Particle il sait pas faire. Il n'y a pas de possibilité de dossier lib pour cette merde d'environnement (mince, je l'ai dit ?!?!, rohhhhh) J'ai la même punition pour la librairie radio RadioHead !!!!
Pourquoi pas au démarrage, bonne question tu as raison, peut être qu'il fait des garbage collector plus tard et déplace les infos ?
@Fab_33, normal nous sommes sur le pb des étiquettes erronées pour le moment, chaque chose en son temps

AuFilElec

@Charles
Tout à fait d'accord avec toi concernant le maintien du spark core. C'est une galère lors de la lecture du code.
En plus, je hais le photon, après en avoir acheté un, un test réussi et après deux mois de tiroir, plus moyen de le faire fonctionner.
Par contre, pour les modifs (gestion des zones), tu ne les as pas déployées dans le répertoire data.
Après 6 jours et plusieurs heures, j'ai eu une erreur dans la télé-information. Mais rien de pertinent dans les logs.

Charles

J'ai eu mes heures de galère avec Spark/Photon des AM entiers pour arriver à les reprogrammer et à chaque modif de firmware, plus les API qui changent !!!

Heuuu, normalement la gestion des zones est bien déployée non? J'ai regénéré, au cas ou effectivement le index.htm.gz est différent, et j'ai ajouté la police jeedom, un oubli.

C'est mieux ?

WebServer étrange

6

5.7k

521

4.9k

Top Topics

Popular Tags