Commit 72aa0edd authored by Gaëtan Caillaut's avatar Gaëtan Caillaut
Browse files

hack pour mots du lexique

parent 4a2023a3
......@@ -300,7 +300,8 @@ def lexicon_neighbors(model, outdir):
loader = DataLoader(dataset, collate_fn=collater, batch_size=bs, pin_memory=pin_memory)
# tenseur contenant les id des mots
lex_ids = torch.tensor(list(filter(partial(is_not, None), (tokenizer.token_to_id(l) for l in lexicon["Token"]))), device=device)
tokens = [tok if len(lem.split()) > 1 else lem for (tok, lem) in zip(lexicon["Token"], lexicon["Lemmatized"])]
lex_ids = torch.tensor(list(filter(partial(is_not, None), (tokenizer.token_to_id(l) for l in tokens))), device=device)
contextualized_path = str(Path(outdir, "contextualized_lex.tar"))
if os.path.exists(contextualized_path):
......@@ -321,7 +322,7 @@ def lexicon_neighbors(model, outdir):
contextualized[lex].append(v.tolist())
ctx_mean = {}
for k, lexdef, lemm in zip(lexicon["Token"], lexicon["Definition"], lexicon["Lemmatized"]):
for k, lexdef, lemm in zip(tokens, lexicon["Definition"], lexicon["Lemmatized"]):
vs = contextualized[k]
if len(vs) == 0:
vs = torch.zeros((0, model.configuration.embedding_dim), device=device)
......@@ -392,11 +393,16 @@ def lexicon_neighbors(model, outdir):
def compute_neighbors_for_sncf(args):
for md in os.listdir(args.path):
if md != "d32_self-attention_fixed_gelu_norm":
continue
print(md)
cp_path = os.path.join(args.path, md, "checkpoint-00100.tar")
outdir = os.path.join("output", "minibert", md)
model = load_minibert_model(cp_path, "cuda")
model.eval()
# wsd_sncf(model, outdir)
lexicon_neighbors(model, outdir)
......
......@@ -2,34 +2,34 @@ term,definition,lemmatized,voisin1,voisin2,voisin3,voisin4
<lex::agent_formation>,"Agent chargé de l'application des règles relatives à la composition des trains, habilité à la TES ""Appliquer les règles de freinage et de composition d'un train ou d'un convoi"".",agent formation,agent,depart,operateur,train
<lex::alarmer_danger>,"détection de l'élévation de température d'une boîte d'essieu (ou frein serré) considérée comme critique, le risque de rupture de fusée pouvant être imminent",alarmer danger,train,<city>,circulation,devoir
<lex::alarme_simple>,"détection de l'élévation de température d'une boîte d'essieu (ou frein serré) considérée comme non critique, le risque de rupture de fusée n'étant pas imminent",alarme simple,<city>,train,poste,<lex::voie>
<lex::amarrage>,"Opération consistant à interdire ou à limiter le déplacement et à augmenter l’adhérence d’un chargement par l’utilisation d’amarres. (Oct. 1996) Les amarres sont constituées par : "" des fils d’acier, "" des chaînes, "" des cordes, des câbles, des sangles métalliques ou en fibres naturelles ou synthétiques, "" des sangles d’arrimage en matière plastique avec fils incorporés.",amarrage,<lex::voie>,<city>,train,manœuvre
<lex::attestation>,"Document certifiant qu’une opération a été effectuée, ou qu’une condition est satisfaite sans préjuger du résultat de l’opération. (Oct. 1996) exemple : attestation de présence à un stage",attestation,<lex::voie>,<city>,train,manœuvre
<lex::automoteur>,"Véhicule doté d'installations motrices, aménagé pour le transport de voyageurs et de bagages ou de fret postal, et dont la source d'énergie est l'électricité. L’automotrice peut circuler seule ou accouplée à d’autres véhicules, moteurs ou remorqués, de construction apparentée.",automoteur,<lex::voie>,<city>,train,manœuvre
<lex::calage>,Opération consistant à interdire ou à limiter le déplacement et le glissement d’un chargement par l’utilisation de cales. (Oct. 1996),calage,<lex::voie>,<city>,train,manœuvre
<lex::camionnage>,"Prestation de logistique routière demandée par un client indépendamment d’un contrat de transport ferroviaire. (Oct. 1996) Il peut s’agir : - d’un enlèvement d’une marchandise à entreposer, - d’une livraison d’une marchandise entreposée, - d’une livraison à domicile non revendiquée sur le contrat de transport et demandée par le destinataire, - d’un enlèvement ou livraison à domicile dans un pays étranger vers ou depuis un point de transbordement du territoire national. Le prix de cette prestation est comptabilisé au moyen d’un dossier ""opération diverse"" et il fait l’objet d’un article distinct sur la facture adressée au client débiteur. A éviter : Fercam",camionnage,<lex::voie>,<city>,train,manœuvre
<lex::canton>,Intervalle dégagé entre deux trains afin d'assurer la protection du premier train vis-à-vis d'un rattrapage par le deuxième.,canton,<lex::voie>,<city>,train,manœuvre
<lex::chargement>,"1 - Quantité de marchandises transportée par un véhicule. 2 - Opération consistant à placer, disposer et assujettir ces marchandises sur ou dans le véhicule. (Oct. 1996)",chargement,<lex::voie>,<city>,train,manœuvre
amarrage,"Opération consistant à interdire ou à limiter le déplacement et à augmenter l’adhérence d’un chargement par l’utilisation d’amarres. (Oct. 1996) Les amarres sont constituées par : "" des fils d’acier, "" des chaînes, "" des cordes, des câbles, des sangles métalliques ou en fibres naturelles ou synthétiques, "" des sangles d’arrimage en matière plastique avec fils incorporés.",amarrage,devoir,<lex::voie>,frein,conduite
attestation,"Document certifiant qu’une opération a été effectuée, ou qu’une condition est satisfaite sans préjuger du résultat de l’opération. (Oct. 1996) exemple : attestation de présence à un stage",attestation,entreprendre,exploiter,titulaire,transport
automoteur,"Véhicule doté d'installations motrices, aménagé pour le transport de voyageurs et de bagages ou de fret postal, et dont la source d'énergie est l'électricité. L’automotrice peut circuler seule ou accouplée à d’autres véhicules, moteurs ou remorqués, de construction apparentée.",automoteur,rame,vehicule,machine,autorail
calage,Opération consistant à interdire ou à limiter le déplacement et le glissement d’un chargement par l’utilisation de cales. (Oct. 1996),calage,boulon,cadenasser,aiguille,interdiction
camionnage,"Prestation de logistique routière demandée par un client indépendamment d’un contrat de transport ferroviaire. (Oct. 1996) Il peut s’agir : - d’un enlèvement d’une marchandise à entreposer, - d’une livraison d’une marchandise entreposée, - d’une livraison à domicile non revendiquée sur le contrat de transport et demandée par le destinataire, - d’un enlèvement ou livraison à domicile dans un pays étranger vers ou depuis un point de transbordement du territoire national. Le prix de cette prestation est comptabilisé au moyen d’un dossier ""opération diverse"" et il fait l’objet d’un article distinct sur la facture adressée au client débiteur. A éviter : Fercam",camionnage,ouvrier,agent,maitriser,ccntr
canton,Intervalle dégagé entre deux trains afin d'assurer la protection du premier train vis-à-vis d'un rattrapage par le deuxième.,canton,<lex::plein_voie>,sol,conducteur,ligne
chargement,"1 - Quantité de marchandises transportée par un véhicule. 2 - Opération consistant à placer, disposer et assujettir ces marchandises sur ou dans le véhicule. (Oct. 1996)",chargement,engin,<lex::voie>,dechargement,accessible
<lex::consigne_commun_temporaire_travail>,"Consigne commune temporaire, établie en commun par les services chargés de la gestion des circulations et ceux chargés de la maintenance de l'infrastructure, décrivant des modalités spécifiques à des travaux.",consigne commun temporaire travail,train,circulation,service,devoir
<lex::convoi>,Engin moteur ou groupe d’engins moteurs attelés ou non à un ou plusieurs véhicules remorqués circulant en application de l’article 10 du décret n° 2006 1279 modifié.,convoi,<lex::voie>,<city>,train,manœuvre
convoi,Engin moteur ou groupe d’engins moteurs attelés ou non à un ou plusieurs véhicules remorqués circulant en application de l’article 10 du décret n° 2006 1279 modifié.,convoi,charge,pouvoir,<lex::train_voyageur>,vehicules
<lex::double_voie>,Régime d'exploitation d'une ligne à deux voies (ou plus) dans lequel chaque voie est normalement affecté à la circulation des trains dans un sens déterminé.,double voie,circulation,<city>,ligner,<acr::rss>
<lex::dysfonctionnement>,Écart ou anomalie affectant un système ou un processus de production. (Oct. 1996),dysfonctionnement,<lex::voie>,<city>,train,manœuvre
<lex::embrancher>,Tiers propriétaire ou exploitant de voies ferrées raccordées à la seconde partie d’un embranchement particulier. (Oct. 1996),embrancher,<acr::schema>,intervention,accessible,mise
dysfonctionnement,Écart ou anomalie affectant un système ou un processus de production. (Oct. 1996),dysfonctionnement,derangement,signalement,traitement,anomalie
embrancher,Tiers propriétaire ou exploitant de voies ferrées raccordées à la seconde partie d’un embranchement particulier. (Oct. 1996),embrancher,<lex::voie>,<city>,train,manœuvre
<lex::embranchement_particulier>,Terme équivalent à Installation Terminale Embranchée. (Août 2005) Embranchement particulier est le terme couramment utilisé pour désigner la partie spécifiquement ferroviaire d'une ITE.,embranchement particulier,<lex::etablissement_public_securite_ferroviaire>,infrastructure,entreprendre,haut
<lex::escale>,Opération de tri consistant à faire changer de lot un ou plusieurs véhicules ferroviaires. (Oct. 1996) Cette opération s’effectue dans une gare d’escale. A éviter : continuation,escale,<lex::voie>,<city>,train,manœuvre
escale,Opération de tri consistant à faire changer de lot un ou plusieurs véhicules ferroviaires. (Oct. 1996) Cette opération s’effectue dans une gare d’escale. A éviter : continuation,escale,responsable,chef,poste,<city>
<lex::gare_origine>,Point à partir duquel un train circule sous un numéro donné.,gare origine,train,depart,circulation,pret
<lex::installation_terminal_embrancher>,"Equipement ferroviaire permettant à un utilisateur de disposer de voies privatives ou à usage privatif de chargement ou de déchargement reliées au réseau ferré national. (Août 2005) L´ITE comporte deux parties distinctes : "" la première, propriété de RFF, assure le raccordement au réseau ferré national, "" la deuxième constitue la partie privée de l’ITE. La description précise des deux parties figure dans la convention de raccordement passée entre l’embranché et RFF. Pour l’exploitation de l’ITE, un contrat de desserte est conclu entre l’embranché, ou les autres utilisateurs, et la SNCF. La notion d’ITE englobe l’ensemble des équipements permettant au transport ferroviaire de s’intégrer dans la chaîne logistique du client : postes de chargement / déchargement, de stockage, …",installation terminal embrancher,circulation,infrastructure,article,ferrer
<lex::locomotif>,Engin moteur dont la puissance dépasse 442 kW et dont la fonction est de tracter ou pousser d'autres véhicules.,locomotif,<lex::voie>,<city>,train,manœuvre
<lex::locotracteur>,Engin moteur dont la puissance ne dépasse pas 442 kW et dont la fonction est de tracter ou pousser d'autres véhicules.,locotracteur,<lex::voie>,<city>,train,manœuvre
<lex::norme>,"Spécification issue de l’activité d’un organisme de normalisation officiel (Afnor, ISO, etc...). (Oct. 1996) exemple : norme ISO 9002 A éviter : standard",norme,<lex::voie>,<city>,train,manœuvre
<lex::obstacle>,"Evénement inopiné et identifié, visible ou non, qui fait obstruction à la circulation,",obstacle,<lex::voie>,<city>,train,manœuvre
locomotif,Engin moteur dont la puissance dépasse 442 kW et dont la fonction est de tracter ou pousser d'autres véhicules.,locomotif,locomotive,machine,impair,messagerie
locotracteur,Engin moteur dont la puissance ne dépasse pas 442 kW et dont la fonction est de tracter ou pousser d'autres véhicules.,locotracteur,remorque,rame,<lex::voie>,diesel
norme,"Spécification issue de l’activité d’un organisme de normalisation officiel (Afnor, ISO, etc...). (Oct. 1996) exemple : norme ISO 9002 A éviter : standard",norme,article,arrete,relatif,securite
obstacle,"Evénement inopiné et identifié, visible ou non, qui fait obstruction à la circulation,",obstacle,distance,couverture,courbe,minimal
<lex::organisme_habiliter>,"Organisme désigné par le ministre chargé des transports et celui chargé de l'industrie, et notifié à la Commission européenne et aux autres États membres, en vue d'évaluer la conformité ou l'aptitude à l'emploi des constituants d'interopérabilité ou d'instruire la procédure de vérification ""CE"" des sous-systèmes constitutifs du système ferroviaire.",organisme habiliter,securite,service,agent,<acr::sncf>
<lex::payeur>,"Client devant, selon les mentions relatives au paiement des frais exprimés sur la lettre de voiture, s'acquitter des frais de transport et autres frais.. (Mars 2006). Le client payeur est normalement l'expéditeur ou le destinataire. Toutefois, l'expéditeur peut stipuler sur la LV le paiement des frais affranchis ou non affranchis, par un tiers (différent du destinataire). Cette particularité doit être prévue contractuellement.",payeur,<lex::voie>,<city>,train,manœuvre
<lex::signalisation>,"L'ensemble des ordres et informations relatifs à la sécurité des circulations donnés au conducteur, au chef de la manœuvre et/ou à l'automatisme embarqué ; les formes et supports physiques utilisés sont dénommés « installations de signalisation ».",signalisation,<lex::voie>,<city>,train,manœuvre
<lex::standard>,Spécification interne d’un organisme quelconque ou d’un groupe d’organismes qui s’imposent de façon dominante et est respectée de fait par un ensemble d’acteurs de plus en plus large. (Oct. 1996) exemple : MERISE est un standard en matière de méthode de conception de système d'information. A éviter : norme,standard,<lex::voie>,<city>,train,manœuvre
<lex::stationnement>,Terme à éviter pour séjour.,stationnement,<lex::voie>,<city>,train,manœuvre
<lex::triage>,"Point d'exploitation où sont assurés, dans le cadre d'un plan de transport, le tri par gravité des wagons et la formation des trains du lotissement. (Juin 2000) Équivalent : gare de triage",triage,<lex::voie>,<city>,train,manœuvre
payeur,"Client devant, selon les mentions relatives au paiement des frais exprimés sur la lettre de voiture, s'acquitter des frais de transport et autres frais.. (Mars 2006). Le client payeur est normalement l'expéditeur ou le destinataire. Toutefois, l'expéditeur peut stipuler sur la LV le paiement des frais affranchis ou non affranchis, par un tiers (différent du destinataire). Cette particularité doit être prévue contractuellement.",payeur,paie,acompte,solde,rubrique
signalisation,"L'ensemble des ordres et informations relatifs à la sécurité des circulations donnés au conducteur, au chef de la manœuvre et/ou à l'automatisme embarqué ; les formes et supports physiques utilisés sont dénommés « installations de signalisation ».",signalisation,schema,applicable,ligne,gare
standard,Spécification interne d’un organisme quelconque ou d’un groupe d’organismes qui s’imposent de façon dominante et est respectée de fait par un ensemble d’acteurs de plus en plus large. (Oct. 1996) exemple : MERISE est un standard en matière de méthode de conception de système d'information. A éviter : norme,standard,masse,<lex::limite_resistance_attelage>,series,admissible
stationnement,Terme à éviter pour séjour.,stationnement,vehicules,particulierement,wagon,allouees
triage,"Point d'exploitation où sont assurés, dans le cadre d'un plan de transport, le tri par gravité des wagons et la formation des trains du lotissement. (Juin 2000) Équivalent : gare de triage",triage,<lex::voie>,chantier,faisceau,<city>
<lex::voie_banaliser>,"Régime d'exploitation d'une ligne à une voie ou à plusieurs voies parcourues par les trains des deux sens. Sur ces voies, des installations de sécurité s'opposent à l'expédition de deux trains de sens contraire à la rencontre l'un de l'autre. Sur une ligne à plusieurs voies banalisées, les trains d'un même sens peuvent circuler indifféremment sur l'une quelconque de ces voies.",voie banaliser,<lex::voie>,pancarte,cote,<city>
<lex::wagon>,"Véhicule ferroviaire, non équipé d’un moyen de propulsion propre, affecté au transport de marchandises. (Oct. 1996) Chaque wagon dispose d’un marquage numérique unifié qui comporte 12 chiffres répartis en 4 groupes : 1° ) 2 chiffres : code régime d'échange en trafic international 2° ) 2 chiffres : code réseau d’immatriculation 3° ) 7 chiffres : numéro proprement dit du wagon 4° ) 1 chiffre d’auto - contrôle. Le terme wagon ne doit pas être employé pour désigner les véhicules transportant des voyageurs. Ce terme ne doit pas être accompagné de la mention de marchandises ou fret : parler de wagon à ou de marchandises est un pléonasme.",wagon,<lex::voie>,<city>,train,manœuvre
wagon,"Véhicule ferroviaire, non équipé d’un moyen de propulsion propre, affecté au transport de marchandises. (Oct. 1996) Chaque wagon dispose d’un marquage numérique unifié qui comporte 12 chiffres répartis en 4 groupes : 1° ) 2 chiffres : code régime d'échange en trafic international 2° ) 2 chiffres : code réseau d’immatriculation 3° ) 7 chiffres : numéro proprement dit du wagon 4° ) 1 chiffre d’auto - contrôle. Le terme wagon ne doit pas être employé pour désigner les véhicules transportant des voyageurs. Ce terme ne doit pas être accompagné de la mention de marchandises ou fret : parler de wagon à ou de marchandises est un pléonasme.",wagon,vide,liees,temporaire,stationnement
<lex::wagon_isoler>,Terme générique désignant une unité de transport fret inférieure à la capacité d’un train entier et constituée au minimum d’un véhicule ferroviaire remorqué. (Oct. 1996) Le wagon isolé est l’unité de transport de base du plan de transport du lotissement. Ce terme est également utilisé par les services Matériel et Transport de la SNCF pour désigner un wagon dont le système de freinage (frein continu) est hors d’usage (isolé).,wagon isoler,vehicules,<lex::voie>,devoir,conduite
<lex::zone_dangereux>,Zone dans laquelle une personne peut être heurtée par une circulation ou mise en danger par l'effet de souffle provoqué par le passage d'une circulation.,zone dangereux,traversee,devoir,<lex::voie>,faire
<lex::zone_fret>,"Entité de production et de gestion Fret en charge d’assurer en qualité et en compétitivité: - des prestations convoi sur des parcours de courte et moyenne distance en assemblant les ressources sillons, locomotives et agents de conduite qui lui sont affectées, - des prestations dessertes selon les commandes passées par les donneurs d’ordre (CGF,…), - des prestations de formation de trains et de tri des wagons. (Mai 2005) La zone Fret assure le pilotage de la production Fret en EEX. Elle se caractérise par un catalogue de relations ferroviaires, de triages, de points de desserte et un parc de locomotives. A éviter : zone locale",zone fret,<lex::voie>,chantier,manœuvre,reception
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment