vulgar_words.py

import re
from data.preprocessing import preprocess_genius_text, tokens_2_str

INSULTES_FR = {'abruti',
               'aller chier dans sa caisse',
               'aller niquer sa mère',
               'aller se faire enculer',
               'aller se faire endauffer',
               'aller se faire foutre',
               'aller se faire mettre',
               'andouille',
               'anglo-fou',
               'appareilleuse',
               'assimilé',
               'assimilée',
               'astèque',
               'avorton',
               'bachi-bouzouk',
               'baleine',
               'bande d’abrutis',
               'baraki',
               'baudet',
               'beauf',
               'bellicole',
               'biatch',
               'bibi',
               'bic',
               'bicot',
               'bicotte',
               'bique',
               'bite',
               'bitembois',
               'bolos',
               'bordille',
               'boucaque',
               'boudin',
               'bouffi',
               'bouffon',
               'bouffonne',
               'bougnoul',
               'bougnoule',
               'bougnoulie',
               'bougnoulisation',
               'bougnouliser',
               'bougre',
               'boukak',
               'boulet',
               'bounioul',
               'bounioule',
               'bourdille',
               'bourrer',
               'bourricot',
               'bouègre',
               'bovo',
               'branleur',
               'bridé',
               'bridée',
               'brigand',
               'brise-burnes',
               'bulot',
               'bâtard',
               'bête',
               'bête comme ses pieds',
               'bête comme un chou',
               'bête comme un cochon',
               'bête comme un cygne',
               'bête comme une oie',
               'bête à pleurer',
               'cacou',
               'cafre',
               'cageot',
               'caldoche',
               'carcavel',
               'casse-bonbon',
               'casse-couille',
               'casse-couilles',
               'cave',
               'chagasse',
               'charlot de vogue',
               'charogne',
               'chauffard',
               'chbeb',
               'cheveux bleus',
               'chiabrena',
               'chien de chrétien',
               'chiennasse',
               'chienne',
               'chier',
               'chieur',
               'chieuse',
               'chinetoc',
               'chinetoque',
               'chintok',
               'chleuh',
               'chnoque',
               'choucroutard',
               'citrouille',
               'coche',
               'colon',
               'complotiste',
               'con',
               'con comme la lune',
               'con comme ses pieds',
               'con comme un balai',
               'con comme un manche',
               'con comme une chaise',
               'con comme une valise',
               'con comme une valise sans poignée',
               'con comme une valise à poignée intérieure',
               'conasse',
               'conchier',
               'conchita',
               'connard',
               'connarde',
               'connasse',
               'connaud',
               'conspirationniste',
               'contracibête',
               'couille molle',
               'counifle',
               'courtaud',
               'courtaude',
               'cpf',
               'crevure',
               'cricri',
               'crotté',
               'crouillat',
               'crouille',
               'crouïa',
               'crétin',
               'dago',
               'doryphore',
               'doxosophe',
               'doxosophie',
               'drouille',
               'du schnoc',
               'ducon',
               'duconnot',
               'dugenoux',
               'dugland',
               'duschnock',
               'débile',
               'débougnouliser',
               'emmanché',
               'emmerder',
               'emmerdeur',
               'emmerdeuse',
               'empaffé',
               'empafé',
               'empapaouté',
               'enculer',
               'enculé',
               'enculé de ta race',
               'enfant de fusil',
               'enfant de garce',
               'enfant de putain',
               'enfant de pute',
               'enfant de salaud',
               'enflure',
               'enfoiré',
               'envaselineur',
               'envoyer faire foutre',
               'espingoin',
               'espingouin',
               'espèce de',
               'face de chien',
               'face de craie',
               'face de pet',
               'face de rat',
               'fachiste',
               'fdp',
               'fell',
               'fermer sa gueule',
               'fils de bâtard',
               'fils de chien',
               'fils de chienne',
               'fils de garce',
               'fils de pute',
               'fils de ta race',
               'fiotte',
               'floco',
               'folle',
               'fouteur',
               'foutriquet',
               'fragile',
               'fripouille',
               'frisé',
               'fritz',
               'fumelard',
               'fumier',
               'garage à bite',
               'garage à bites',
               'garce',
               'gaupe',
               'gdm',
               'gestapette',
               'gland',
               'glandeur',
               'glandeuse',
               'glandouillou',
               'glandu',
               'glandue',
               'gnoul',
               'gnoule',
               'godon',
               'gogol',
               'gogole',
               'gogolito',
               'gook',
               'gouilland',
               'gouine',
               'goulou-goulou',
               'gourdasse',
               'gourde',
               'gourgandine',
               'goï',
               'grognasse',
               'gueniche',
               'guide de merde',
               'guindoule',
               'gwer',
               'habitant',
               'halouf',
               'hippopotame',
               'imbécile',
               'incapable',
               'islamo-gauchisme',
               'islamo-gauchiste',
               'islamogauchiste',
               'jean-fesse',
               'jean-foutre',
               'jeannette',
               'journalope',
               'judéo-bellicisme',
               'judéo-belliciste',
               'judéo-bolchévisme',
               'judéobellicisme',
               'judéobelliciste',
               'juivaillon',
               'kaffir',
               'kahlouche',
               'karlouche',
               'kawish',
               'khel',
               'khmer rose',
               'khmer rouge',
               'khmer vert',
               'kikoo',
               'kikou',
               'koreaboo',
               'kraut',
               'krouia',
               'kung flu',
               'la fermer',
               'lavette',
               'loche',
               'lopette',
               'lorpidon',
               'lourpidon',
               'lâche',
               'lâcheux',
               'macaroni',
               'magot',
               'makoumé',
               'mal blanchi',
               'mange-merde',
               'manger du nègre',
               'manger ses morts',
               'mangeux de marde',
               'marchandot',
               'margouilliste',
               'marlouf',
               'marsouin',
               'marsouine',
               'mauviette',
               'maya',
               'melon',
               'mercon',
               'merdaille',
               'merdaillon',
               'merde',
               'merdeuse',
               'merdeux',
               'merdouillard',
               'michto',
               'minable',
               'minus',
               'misérable',
               'moinaille',
               'moins-que-rien',
               'mollusque',
               'monacaille',
               'mongol',
               'mongol à batteries',
               'moricaud',
               'mort aux vaches',
               'morue',
               'moule à gaufres',
               'moule à merde',
               'mouloud',
               'muzz',
               'naze',
               'nazi',
               'ndepso',
               'newfie',
               'nez de bœuf',
               'niac',
               'niafou',
               'niaiseux',
               'niakoué',
               'niaqué',
               'nique sa mère',
               'nique ta mère',
               'niquer',
               'niquer sa mère',
               'niquer sa reum',
               'niquez votre mère',
               'nodocéphale',
               'noob',
               'nord-phocéen',
               'ntm',
               'ntr',
               'nul',
               'nulle',
               'nèg',
               'nègre',
               'nègre d’océanie',
               'négraille',
               'négresse',
               'négro',
               'nœud',
               'orchidoclaste',
               'ordure',
               'ortho',
               'pakos',
               'panoufle',
               'patarin',
               'pd',
               'peau',
               'peau de couille',
               'peau de fesse',
               'peau de vache',
               'peau d’hareng',
               'pecque',
               'pelle à merde',
               'personnage de comédie',
               'petite bite',
               'petite merde',
               'pignouf',
               'pignoufe',
               'pisser à la raie',
               'pissou',
               'pithécanthrope',
               'planche à repasser',
               'pleutre',
               'plouc',
               'pochard',
               'poissonnière',
               'pompe à vélo',
               'porc',
               'porcas',
               'porcasse',
               'pot de merde',
               'pouf',
               'pouffiasse',
               'poufiasse',
               'poundé',
               'pourriture',
               'punaise',
               'putain',
               'putain de ta race',
               'pute',
               'pute borgne',
               'putois',
               'pédale',
               'pédoque',
               'pédé',
               'péquenaud',
               'raclure',
               'raclure de bidet',
               'radoteur',
               'rat',
               'raton',
               'raté',
               'ratée',
               'retourne aux asperges',
               'ripopée',
               'robespierrot',
               'roi des cons',
               'roi nègre',
               'rond de chiotte',
               'rosbif',
               'roulure',
               'résidu de capote',
               'résidu de fausse couche',
               'sac à foutre',
               'sac à merde',
               'sac à papier',
               'sagouin',
               'sagouine',
               'salaud',
               'salaude',
               'sale',
               'salop',
               'salope',
               'sans-couilles',
               'satrouille',
               'sauvage',
               'sauvagesse',
               'schbeb',
               'schlague',
               'schleu',
               'schleue',
               'schnock',
               'schnoque',
               'sent-la-pisse',
               'sidi',
               'social-traître',
               'sorcière',
               'sottiseux',
               'sous-merde',
               'stéarique',
               'ta bouche',
               'ta gueule',
               'ta mère',
               'ta mère la pute',
               'ta race',
               'ta yeule',
               'tache',
               'tafiole',
               'tantouserie',
               'tantouze',
               'tapette',
               'tapettitude',
               'tarlouze',
               'tata',
               'tchoutche',
               'tebé',
               'teub',
               'teubé',
               'thon',
               'thénardier',
               'tocard',
               'tonnerre',
               'travail d’arabe',
               'travailler comme un nègre',
               'traînée',
               'triple buse',
               'trou de cul',
               'trou du cul',
               'trouduc',
               'truiasse',
               'truie',
               'téteux',
               'tête carrée',
               'tête de boche',
               'tête de cochon',
               'tête de con',
               'tête de gland',
               'tête de linotte',
               'tête de mort',
               'tête de mule',
               'tête de nœud',
               'tête de veau',
               'va te faire foutre',
               'va te faire une soupe d’esques',
               'vaurien',
               'vaurienne',
               'vendu',
               'vert-de-gris',
               'vide-couilles',
               'vieille conne',
               'vier',
               'vieux',
               'vieux blanc',
               'vieux con',
               'vipère lubrique',
               'visage à deux faces',
               'viédase',
               'weeaboo',
               'xéropineur',
               'youd',
               'youp',
               'youpin',
               'youpine',
               'youpinisation',
               'youpiniser',
               'youtre',
               'y’a bon',
               'zemel',
               'zguègue',
               'zoulette',
               'épais',
               'étron'}

#%%


def to_censored_word(word):

    censored_word = re.sub(r'[aiouèé]', '*', word)
    if censored_word == word:
        # change the last letter to a star
        return word[:-1] + '*'
    return censored_word


CENSORED_WORDS_DICT = {insulte : to_censored_word(insulte) for insulte in INSULTES_FR}
def is_vulgar_text(text):
    global CENSORED_WORDS_DICT
    for word in text.split():
        if word in CENSORED_WORDS_DICT:
            return True
    return False

def censor_vulgar_text_(text):
    global CENSORED_WORDS_DICT

    for word in text.split(" "):
        if word in CENSORED_WORDS_DICT:
            text = text.replace(word, CENSORED_WORDS_DICT[word])
    return text

def censor_vulgar_text(text):
    global CENSORED_WORDS_DICT

    words_list = text.split(" ")
    return tokens_2_str([CENSORED_WORDS_DICT.get(word, word) for word in words_list])