pipeline ready

pipeline.py

@@ -0,0 +1,22 @@
+"""
+Generates SLDA models for all the CSV files
+"""
+
+import os
+import logging
+
+logging.basicConfig(format='%(levelname)s:%(message)s', level=logging.INFO)
+
+CSV_FILENAMES = {"nweekly" : "data/nweekly.csv", "quora" : "data/quora.csv"}
+OUTPUT_FOLDER_NAME = "slda_input_files/"
+NGRAM_PARSERS = ['pos','etymology','word','word_count','syllable','syllable_count','meter']
+N_VALUES = [2, 3, 4, 5]
+
+for filename in CSV_FILENAMES:
+    for parser in NGRAM_PARSERS:
+        for N in N_VALUES:
+            prefix = "%s%s_%s_%s" % (OUTPUT_FOLDER_NAME,filename,parser,N)
+            command = "python -um converter %s %s_model.txt %s_author.txt %s_ngram_dict.txt %s_author_dict.txt %s %s" % (CSV_FILENAMES[filename], prefix, prefix, prefix, prefix, parser, N)
+
+            logging.info("Executing: %s" % command)
+            os.system(command)

scrapers/nassauweekly_scraper/clean.py

@@ -0,0 +1,27 @@
+"""
+    This script cleans up the scrapy output CSV to be compliant with
+    converter.py for this project
+
+        python clean.py nweekly.csv
+
+"""
+
+import sys
+import csv
+
+# list of URLs already written
+already_written = []
+
+input_file = open(sys.argv[1], 'r')
+output_file = open("output.csv", 'w')
+reader = csv.reader(input_file)
+writer = csv.writer(output_file)
+
+for row in reader:
+    body = row[0].strip()
+    url = row[1].split("?")[0]
+    author = row[4].strip()
+
+    if url not in already_written:
+        already_written.append(url)
+        writer.writerow([author, body])

slda_input_files/nweekly_pos_2_author.txt

@@ -0,0 +1,9 @@
+0
+1
+2
+3
+4
+5
+6
+7
+6

slda_input_files/nweekly_pos_2_author_dict.txt

@@ -0,0 +1,9 @@
+author
+Eliza Mott
+Andrew Sondern
+Lily Offit
+Jameson Creager
+Tyler Coulton
+Lauren Davis
+staff
+Chris Hernandez

slda_input_files/nweekly_pos_2_model.txt

@@ -0,0 +1,9 @@
+0
+288 0:1 1:4 2:1 3:1 4:3 5:1 6:2 7:1 8:1 9:1 10:4 11:1 12:1 13:1 14:1 15:16 16:6 17:1 18:1 19:8 20:6 21:1 22:1 23:1 24:6 25:4 26:1 27:1 28:3 29:63 30:2 31:27 32:4 33:3 34:4 35:3 36:8 37:1 38:11 39:1 40:1 41:38 42:3 43:1 44:2 45:5 46:1 47:2 48:1 49:1 50:1 51:3 52:4 53:12 54:1 55:2 56:1 57:1 58:1 59:2 60:14 61:1 62:3 63:8 64:4 65:34 66:1 67:1 68:1 69:3 70:2 71:1 72:3 73:1 74:2 75:1 76:1 77:1 78:2 79:2 80:6 81:10 82:2 83:7 84:1 85:3 86:1 87:1 88:2 89:5 90:2 91:1 92:3 93:1 94:1 95:2 96:14 97:1 98:1 99:2 100:11 101:6 102:1 103:1 104:39 105:3 106:1 107:2 108:1 109:1 110:1 111:3 112:2 113:7 114:1 115:2 116:8 117:1 118:2 119:5 120:2 121:1 122:5 123:1 124:1 125:1 126:1 127:1 128:1 129:2 130:16 131:1 132:1 133:2 134:3 135:15 136:1 137:4 138:1 139:1 140:2 141:1 142:1 143:11 144:2 145:5 146:5 147:3 148:1 149:2 150:2 151:19 152:1 153:1 154:4 155:7 156:1 157:1 158:1 159:14 160:1 161:5 162:8 163:5 164:6 165:7 166:8 167:2 168:1 169:7 170:5 171:3 172:4 173:9 174:16 175:2 176:1 177:1 178:15 179:7 180:2 181:1 182:18 183:1 184:3 185:12 186:4 187:6 188:1 189:6 190:2 191:2 192:68 193:1 194:1 195:3 196:9 197:1 198:1 199:1 200:2 201:14 202:1 203:1 204:6 205:6 206:1 207:1 208:1 209:2 210:2 211:1 212:1 213:7 214:22 215:11 216:2 217:6 218:1 219:9 220:1 221:9 222:14 223:1 224:5 225:2 226:5 227:4 228:1 229:49 230:2 231:3 232:1 233:1 234:13 235:2 236:3 237:1 238:1 239:1 240:4 241:1 242:1 243:1 244:2 245:2 246:2 247:1 248:2 249:1 250:3 251:2 252:1 253:1 254:6 255:9 256:5 257:1 258:3 259:7 260:1 261:1 262:4 263:13 264:1 265:2 266:1 267:9 268:5 269:6 270:1 271:7 272:6 273:1 274:1 275:1 276:1 277:15 278:5 279:5 280:3 281:10 282:2 283:1 284:73 285:3 286:1 287:2
+8 216:1 201:1 288:1 264:1 263:5 72:1 116:5 174:7
+378 289:1 290:14 291:2 288:4 292:1 293:3 15:24 294:1 112:3 295:1 167:10 296:2 297:4 35:1 298:1 38:16 41:46 299:1 300:4 164:4 301:1 63:6 64:1 302:1 303:1 71:1 107:4 78:4 304:3 305:2 306:1 307:2 308:1 309:1 94:3 310:1 311:2 312:1 313:2 314:1 129:3 315:4 131:2 240:3 24:13 137:3 316:4 317:3 62:6 143:12 91:1 149:8 318:2 154:1 155:6 159:17 160:2 162:8 122:11 319:1 168:4 320:2 175:6 321:1 215:9 231:2 191:1 192:65 322:1 323:1 196:2 324:2 205:4 97:3 214:25 216:2 220:1 194:2 225:1 226:7 325:1 326:4 233:1 234:42 327:1 101:3 328:2 329:1 245:2 251:4 330:1 254:13 255:12 147:10 331:1 221:5 278:6 332:1 47:3 281:20 282:4 283:2 284:85 285:34 1:12 333:1 334:1 5:2 8:1 10:16 11:3 335:1 19:9 22:3 336:1 337:1 29:54 31:55 33:4 338:1 258:2 339:2 340:1 341:4 57:1 58:4 59:1 342:3 343:1 344:2 79:1 345:1 346:2 347:1 83:6 199:2 90:1 348:1 349:2 350:1 96:17 262:5 351:1 104:64 109:2 114:2 352:1 118:3 172:12 124:1 126:6 353:2 354:1 140:11 141:3 146:7 265:5 355:2 150:2 151:27 356:1 357:1 163:1 202:5 145:4 169:4 170:10 174:19 264:1 272:13 166:3 358:2 201:11 279:12 204:16 81:8 217:2 218:1 222:36 359:1 152:4 223:1 360:4 235:4 361:3 36:14 246:4 247:16 48:1 249:3 252:2 362:1 363:4 110:1 364:6 261:6 266:4 267:19 268:19 269:7 273:1 365:1 277:41 366:1 367:4 368:3 4:3 369:1 9:2 370:1 16:11 20:8 136:1 371:1 26:5 372:2 373:5 42:3 46:2 374:2 52:2 55:7 50:3 65:46 66:7 69:2 375:1 70:4 376:1 377:2 82:1 80:15 378:1 161:5 87:6 379:1 380:2 93:2 381:5 98:29 105:3 106:1 111:19 210:9 382:1 119:8 383:2 384:1 130:13 132:3 133:2 134:9 385:6 386:1 387:1 144:1 228:2 188:3 388:1 389:3 115:2 390:1 391:1 177:6 392:2 181:3 184:2 185:3 44:1 193:2 393:1 195:4 183:2 207:1 212:4 213:5 394:1 395:4 156:2 219:18 227:12 224:2 396:5 397:1 148:1 53:11 259:8 176:2 398:1 75:2 274:5 165:14 276:2 399:1 286:4 139:2 2:3 3:1 400:3 401:2 13:5 402:2 403:1 25:9 28:3 34:1 404:3 43:3 198:1 45:4 405:1 406:2 407:2 60:16 408:1 68:4 409:3 72:4 73:4 117:1 92:10 95:2 99:1 100:22 410:1 102:9 108:1 411:1 113:15 127:4 120:2 135:25 116:20 32:2 412:2 413:2 89:4 414:5 415:2 416:2 157:2 171:3 417:1 173:7 178:14 418:5 182:23 187:1 189:8 419:1 197:1 420:1 421:1 422:3 77:3 423:5 190:5 236:5 424:4 425:2 426:1 427:3 248:4 428:2 229:51 253:2 429:1 256:12 179:12 430:1 431:3 263:18 432:1 271:8 433:1 434:1 435:1 237:1
+378 290:16 291:2 288:5 436:7 293:3 15:34 294:1 437:1 112:3 438:2 21:1 439:1 23:1 167:10 4:9 38:8 41:17 300:7 164:4 47:3 56:2 63:9 302:2 71:1 107:2 78:7 304:10 440:1 305:4 441:4 20:19 308:1 442:1 309:1 94:8 311:1 315:1 313:4 443:1 444:1 129:3 395:3 131:1 240:9 136:1 445:1 137:4 316:6 446:1 317:6 62:14 143:12 91:3 447:2 448:1 149:3 318:1 449:1 154:3 155:3 159:14 162:14 450:1 122:6 319:1 168:3 451:1 320:1 175:5 321:3 215:13 231:1 180:4 191:2 192:73 196:1 324:1 205:9 35:3 97:1 214:11 216:10 220:1 194:2 225:2 226:5 452:1 326:2 234:59 101:5 328:1 329:1 245:7 251:7 330:1 254:9 255:20 453:1 454:1 260:1 265:7 272:16 221:2 278:4 281:14 282:5 284:96 285:22 0:4 1:47 5:1 10:13 11:2 335:1 19:3 22:2 138:1 29:99 31:44 33:10 338:1 455:1 339:2 456:1 341:8 49:3 457:1 458:2 58:5 459:1 460:1 345:1 347:4 83:8 461:1 90:2 96:10 462:1 104:64 158:1 109:1 463:1 114:3 118:7 172:8 126:6 353:1 140:4 146:4 147:7 150:2 151:26 464:1 262:4 157:1 170:4 98:27 145:6 169:13 465:1 174:30 264:7 466:2 166:3 467:1 201:33 203:8 204:8 206:1 468:1 217:8 218:3 222:37 48:1 152:1 223:1 360:2 230:1 232:1 235:5 469:2 7:9 36:2 246:10 247:8 406:3 249:1 250:1 252:2 306:3 363:3 364:2 261:3 470:1 266:1 267:12 471:1 268:38 269:1 277:42 472:1 368:5 340:3 9:2 16:15 18:1 307:4 37:11 24:6 371:3 26:5 373:7 42:2 55:14 473:1 50:7 65:37 66:9 69:3 375:1 70:3 376:9 377:1 80:6 474:2 81:4 378:1 161:7 475:1 476:1 87:6 379:1 380:2 477:1 478:2 479:1 105:8 106:2 111:16 210:3 480:1 119:5 481:2 384:9 482:1 130:13 133:9 134:4 385:6 387:6 483:2 228:1 188:5 484:1 485:2 115:5 177:11 181:1 184:5 185:11 486:1 487:1 193:2 195:1 488:1 489:1 207:10 208:1 212:3 213:2 394:1 490:2 491:1 156:2 219:15 492:1 227:9 224:5 148:2 53:7 493:2 259:7 82:2 398:1 75:4 274:3 165:2 494:1 399:1 286:2 3:1 495:3 400:2 401:1 13:4 496:2 402:1 25:7 497:1 28:3 498:1 499:1 500:1 43:6 501:1 502:3 503:1 407:4 504:1 60:10 505:2 68:3 409:3 72:12 73:2 506:1 507:2 88:5 92:8 95:6 99:1 508:9 100:24 102:4 509:1 113:13 127:2 120:2 510:1 511:1 512:2 153:7 135:24 116:19 32:7 258:4 89:9 414:22 415:2 361:4 416:1 513:2 171:5 417:1 173:3 178:12 514:1 182:18 187:4 189:17 419:1 117:1 77:3 515:1 516:2 190:4 236:9 424:1 425:1 426:4 427:1 517:1 229:28 242:1 244:2 256:17 179:8 430:1 431:13 263:20 518:1 280:16 271:9 519:1 520:1 44:1 279:13 237:1
+421 290:13 291:2 288:3 6:2 436:7 15:46 193:1 112:2 21:2 439:1 102:4 23:3 167:7 298:2 38:17 41:24 299:3 300:11 164:8 47:2 63:11 64:2 302:3 71:2 107:2 78:8 304:7 85:1 440:1 521:3 305:3 306:1 20:6 442:1 309:1 257:1 311:5 522:1 163:3 313:2 443:1 444:1 129:9 395:2 394:2 240:4 136:2 74:3 523:1 317:5 62:7 143:21 524:2 91:2 447:1 448:3 149:6 491:5 318:1 449:3 155:15 525:1 159:15 160:1 162:13 450:1 122:12 319:3 168:6 526:1 320:2 175:12 321:1 215:10 231:3 527:1 186:2 192:79 196:4 324:2 528:1 259:12 205:4 97:4 214:4 216:6 220:1 194:3 225:1 226:4 326:2 233:3 234:16 529:1 101:4 328:1 245:2 251:4 330:5 254:18 255:18 454:5 260:2 265:5 331:5 7:2 221:6 278:8 530:1 531:2 281:9 282:2 283:1 284:97 285:27 0:2 1:7 334:1 5:2 10:12 11:2 335:7 19:19 22:1 202:1 138:1 337:1 29:99 31:61 33:8 338:2 339:2 532:1 533:2 341:4 49:7 57:3 58:3 459:1 343:1 67:1 344:5 79:1 347:1 83:15 534:1 535:1 199:1 461:1 536:1 90:7 349:1 96:16 414:16 537:1 104:84 158:1 109:4 538:1 463:1 114:8 118:1 172:7 126:6 539:1 354:1 98:8 141:3 146:10 147:2 342:2 150:1 151:31 262:11 540:2 357:1 465:1 140:8 145:3 541:1 169:10 170:7 174:25 542:1 543:1 264:8 272:25 16:14 467:2 358:2 201:25 279:19 375:2 81:2 544:1 42:1 545:1 217:2 218:8 222:38 152:4 227:7 360:1 230:1 232:3 235:5 361:7 546:1 547:1 246:11 405:2 248:8 249:5 250:3 252:2 362:1 363:5 364:2 261:1 266:1 267:16 268:29 269:1 548:1 365:1 277:21 549:2 367:1 550:1 368:3 4:3 551:1 552:1 9:1 370:1 18:1 307:10 37:1 24:11 371:3 26:7 373:2 424:1 553:2 554:1 46:2 52:2 55:7 473:1 50:8 65:45 66:10 69:6 204:11 70:2 376:1 377:2 555:2 80:13 161:5 87:4 379:1 380:2 477:1 93:4 556:2 381:2 557:7 105:9 106:1 111:9 210:2 558:1 406:3 382:6 119:1 383:1 481:2 384:6 482:1 559:1 130:12 560:1 133:4 134:8 385:1 483:2 144:2 228:1 188:3 389:1 115:3 177:5 561:1 181:3 431:5 185:6 435:1 76:1 195:3 488:1 183:1 562:1 563:1 207:4 208:2 212:7 213:1 131:1 490:6 315:4 156:2 219:26 223:1 224:2 564:1 565:1 566:2 53:5 425:1 567:2 176:4 568:1 75:8 137:11 274:7 165:4 276:4 247:12 2:3 400:2 401:3 12:1 13:3 496:1 402:1 569:2 25:6 497:1 28:3 36:7 404:1 40:2 43:10 198:5 45:1 570:1 502:2 48:2 51:2 504:2 505:2 68:5 409:1 72:8 73:5 571:1 117:1 572:1 92:9 95:2 573:1 508:1 574:1 100:11 295:1 575:1 576:2 113:14 127:5 120:4 577:1 578:1 153:6 135:27 116:27 579:2 32:2 258:9 89:5 580:4 415:4 171:11 417:2 173:4 178:2 418:2 182:29 187:6 189:17 581:2 369:2 420:1 421:2 422:5 582:1 77:4 583:1 423:6 190:1 236:14 426:5 517:1 229:7 86:2 180:4 584:1 253:2 256:17 179:12 430:1 184:2 263:22 585:1 432:3 280:12 271:1 433:2 44:2 287:1 237:2
+377 290:6 291:5 288:1 436:1 292:1 293:4 15:35 294:1 112:3 21:7 23:1 167:11 296:1 340:1 38:9 41:57 299:2 300:1 164:10 586:1 47:1 56:3 63:3 64:5 302:1 303:1 71:2 107:2 587:1 304:3 521:2 306:2 588:4 307:2 94:4 311:4 522:1 315:2 163:3 313:4 129:4 589:1 240:4 590:1 176:1 74:2 523:1 101:5 317:9 62:7 143:16 91:3 149:2 155:19 525:2 159:14 162:6 32:2 168:3 219:42 175:31 321:1 215:10 231:3 180:3 191:5 192:112 591:1 196:1 324:1 528:1 205:7 97:6 214:5 216:3 220:1 225:4 226:3 325:1 233:6 234:27 449:1 592:1 329:1 245:8 593:4 330:2 254:8 255:22 453:2 260:1 265:2 272:14 221:4 278:18 531:1 594:1 281:34 282:1 283:1 284:145 285:42 0:2 1:12 42:1 8:1 10:10 335:1 19:8 22:5 138:1 595:2 29:82 31:61 33:4 341:6 49:1 458:2 57:1 459:3 408:1 251:16 344:3 345:1 596:1 347:2 83:4 199:4 536:1 90:1 349:1 350:2 597:1 96:15 414:9 262:3 70:4 104:74 598:1 599:1 114:2 352:1 118:4 172:15 124:1 126:4 354:3 600:1 202:3 141:2 146:4 342:2 151:9 356:2 540:1 357:1 465:2 165:4 145:3 541:2 169:6 170:2 174:17 264:4 466:3 16:18 601:1 201:8 279:5 204:2 81:1 217:1 218:2 602:1 603:1 222:27 152:3 227:10 88:12 360:1 232:2 235:3 361:4 36:10 246:6 247:5 48:1 250:3 252:5 363:3 364:1 261:1 266:1 267:37 268:17 269:7 277:21 366:1 367:1 368:6 4:5 9:3 166:2 18:1 20:14 37:6 24:15 371:1 26:1 372:1 373:1 5:1 46:1 374:2 52:2 55:6 50:7 65:76 66:7 69:7 604:1 376:3 82:3 80:6 605:2 474:5 161:1 476:2 87:1 379:2 380:2 477:1 93:1 381:3 98:13 478:5 236:10 105:3 106:4 111:11 210:2 382:7 119:5 383:2 481:3 559:1 130:28 133:9 134:8 606:1 607:1 387:2 144:1 228:3 608:1 188:4 388:1 115:2 609:1 177:5 610:1 611:1 428:1 270:2 181:3 431:4 185:2 486:1 193:3 195:8 488:1 183:1 562:1 207:7 212:16 213:2 131:4 491:4 156:2 612:1 223:1 224:5 564:4 613:1 148:1 53:1 259:9 509:4 398:3 75:2 137:7 274:16 276:1 286:1 316:1 614:1 2:1 7:2 401:2 12:1 13:1 615:1 402:1 403:1 140:7 25:12 497:1 28:1 30:1 40:1 43:1 198:1 45:1 248:9 407:2 51:2 60:5 68:1 203:2 409:1 72:8 73:2 510:2 507:3 117:1 92:13 95:5 99:3 508:1 100:2 616:1 102:1 617:5 576:4 113:12 618:2 619:1 120:2 620:2 621:1 153:2 135:31 116:29 122:20 258:4 413:4 89:1 580:2 171:3 173:5 178:3 418:3 182:17 187:9 189:23 550:1 369:4 421:3 422:2 77:5 423:1 190:1 385:4 426:4 427:2 229:2 86:4 244:1 256:25 179:29 184:4 263:22 622:2 579:2 280:8 271:1 44:5
+12 19:1 222:1 88:1 118:1 29:1 192:1 104:2 248:1 249:1 284:1 285:1 16:1
+276 1:3 290:1 2:1 291:1 478:1 4:2 42:1 288:3 6:1 400:2 10:7 13:2 395:2 293:2 15:13 294:1 322:1 402:2 18:3 19:5 112:1 21:3 22:1 23:1 24:10 25:1 595:1 26:3 337:1 167:7 29:40 623:1 31:9 32:2 33:4 338:1 35:2 36:2 37:2 302:1 38:3 50:1 40:1 41:23 43:1 624:1 300:1 488:1 164:15 106:1 48:1 547:2 52:1 458:1 55:1 56:1 57:1 58:2 114:2 401:1 63:1 65:30 307:2 68:2 69:1 103:1 72:4 73:2 344:1 78:1 80:1 304:1 346:1 83:3 66:1 85:1 87:2 117:1 318:3 521:1 137:6 380:2 92:4 93:1 349:2 94:2 95:4 259:2 625:1 96:4 207:1 614:1 580:1 626:1 588:1 155:1 20:6 70:1 136:1 104:42 557:1 98:2 105:2 598:1 309:1 111:5 310:1 113:6 236:4 127:3 382:1 118:3 119:5 383:1 394:1 170:1 172:6 124:1 620:1 384:1 627:1 313:2 444:1 129:2 315:1 16:9 130:8 214:8 133:2 153:3 606:1 135:10 82:1 386:1 371:3 317:3 140:3 141:2 387:1 143:10 122:3 280:4 435:1 148:1 62:2 448:1 149:2 151:2 389:1 89:2 154:1 414:4 100:3 426:3 169:5 159:3 507:1 162:3 116:6 450:2 240:1 165:1 145:8 28:4 168:4 157:1 163:2 115:1 217:1 75:1 173:5 174:24 175:8 321:3 215:5 428:1 418:2 180:1 181:1 182:7 559:1 189:6 431:6 185:2 187:7 44:1 190:1 191:1 192:44 593:1 147:1 193:1 628:1 601:1 199:2 422:2 201:11 202:1 279:4 204:3 77:1 81:1 234:5 320:1 97:1 208:1 423:1 211:1 385:3 213:3 131:1 203:2 491:3 216:3 156:1 218:1 219:17 427:1 222:17 248:1 224:2 404:2 227:6 178:4 88:2 229:3 360:1 231:1 576:1 233:1 86:4 235:4 171:1 134:3 629:1 245:5 246:4 247:1 406:1 53:1 250:1 299:2 251:11 253:1 254:11 255:5 256:3 336:1 363:1 179:16 176:2 184:1 261:1 398:3 263:14 264:2 265:3 267:20 268:4 269:3 271:2 272:3 519:1 212:3 274:9 630:1 221:2 277:4 278:11 367:1 281:9 282:2 284:37 285:13 286:1 287:1