viva day

AswiN-7 · Jun 9, 2022 · d04f9b2 · d04f9b2
1 parent 5ca3c1e
commit d04f9b2
Show file tree

Hide file tree

Showing 30 changed files with 649 additions and 3,226 deletions.
diff --git a/.gitignore b/.gitignore
@@ -1,2 +1,3 @@
 volumes/
-*.pyc
+*.pyc
+dataset/
diff --git a/ODQA_utils/__pycache__/odqa_milvus.cpython-39.pyc b/ODQA_utils/__pycache__/odqa_milvus.cpython-39.pyc
diff --git a/ODQA_utils/__pycache__/odqa_mysql.cpython-39.pyc b/ODQA_utils/__pycache__/odqa_mysql.cpython-39.pyc
diff --git a/ODQA_utils/created_ta.json b/ODQA_utils/created_ta.json
diff --git a/ODQA_utils/dataset_man.ipynb b/ODQA_utils/dataset_man.ipynb
diff --git a/ODQA_utils/driver.ipynb b/ODQA_utils/driver.ipynb
diff --git a/ODQA_utils/odqa_milvus.py b/ODQA_utils/odqa_milvus.py
@@ -6,7 +6,12 @@
 
 import json
 
+# demo
 TABLE_NAME = 'question_answering'
+# wiki
+# TABLE_NAME = 'wiki_context_dataset'
+
+
 collection = None
 
 #Deleting previouslny stored table for clean run

diff --git a/ODQA_utils/odqa_mysql.py b/ODQA_utils/odqa_mysql.py
@@ -3,7 +3,11 @@
 cursor = conn.cursor()
 print("mysql connection established")
 # print("this is imp")
+
+# demo
 TABLE_NAME = 'QA_DATASET'
+# wiki
+# TABLE_NAME = 'wiki_context_dataset'
 
 def create_context_table():
     #Deleting previouslny stored table for clean run
@@ -39,10 +43,6 @@ def insert_data(dataset):
     context should be array of contexts
     [con1, con2, ...]
     """
-    # q = "select count(id) from context"
-    # res = execute_query(q)
-    # current_size = res[0][0]
-    # next = current_size+1
     for data in dataset:
         sql = "INSERT INTO QA_DATASET (question, context, answer, answer_start) VALUES (%s, %s, %s, %s)"
         cursor.execute(sql, (data["question"], data["context"], data["answer"], data["answer_start"]))

diff --git a/dataset/created_ta.csv b/dataset/created_ta.csv
diff --git a/dataset/created_tqa.json b/dataset/created_tqa.json
@@ -1,4 +1,12 @@
 [
+
+    {
+        "context" : "எதனுடைய தேவை தற்போதைய காலங்களில் மிகவும் அதிகரித்துள்ளது?\nஇந்தியாவின் முதல் பெண் விடுதலைப் போராட்ட வீராங்கனை யார்?\nசூலையில் உள்ள நடராஜர் கோவில் எப்போது கட்டப்பட்டது?\nவருமானம் ஈட்டக்கூடியச் செயல் எது?\nகொமில்லா மாவட்டம் மக்கள் தொகை எவ்வளவு?\nஉலகின் இரண்டாவது பெரிய கண்டம் எது?\nபுனே விமான நிலையம் புனே நகரத்திலிருந்து எவ்வளவு தொலைவில் உள்ளது.\nகி.பி 1000 வாக்கில் எழுதிய ஜெஞ்சியின் கதை என்ற புதினத்தால் புகழ்பெற்றவர் யார்?\nஎல்ஜி எலெக்ட்ரானிக்ஸ் எந்த நாட்டைத் தலைமையிடமாகக் கொண்டது?\nகாளிபாளையம் கரியகாளியம்மன் கோயில் எந்த மாவட்டத்தில் அமைந்துள்ளது?", 
+        "question": " ",
+        "answer_start": "ans", 
+        "answer_text" : 4
+
+    }, 
     {
         "context": "கணினியின் தேவை தற்போதைய காலங்களில் மிகவும் அதிகரித்துள்ளது. அரசு அலுவலகம் தனியார் அலுவலகம் வங்கிகள் கல்லூரிகள் பள்ளிகள் என கணினி இல்லாத இடமே தற்போது இல்லை. மனித சமூகம் கணினியை நம்பி தன் வாழ்க்கையை ஒப்படைத்து பல வருடங்கள் ஆகிவிட்டன. மனிதனுக்கு உதவும் வகையில் வேளாண்மை, தொழில்நுட்பவியல், பொறியியல், மருத்துவம், ராணுவம், வானியல் ஆராய்ச்சி என அனைத்து இடங்களிலும் கணினி தனது சேவையை செய்கிறது.",
         "question": "எதனுடைய தேவை தற்போதைய காலங்களில் மிகவும் அதிகரித்துள்ளது?",

diff --git a/main.py b/main.py
@@ -71,4 +71,4 @@ def sample_qa():
 
 if __name__ == '__main__':
     app.debug = True
-    app.run(host='10.6.8.18')
+    app.run(host='10.6.8.19')
diff --git a/volumes/etcd/member/snap/db b/volumes/etcd/member/snap/db
diff --git a/volumes/etcd/member/wal/0000000000000000-0000000000000000.wal b/volumes/etcd/member/wal/0000000000000000-0000000000000000.wal
diff --git a/volumes/milvus/rdb_data/000031.sst b/volumes/milvus/rdb_data/000031.sst
diff --git a/volumes/milvus/rdb_data/CURRENT b/volumes/milvus/rdb_data/CURRENT
@@ -1 +1 @@
-MANIFEST-000037
+MANIFEST-000085
diff --git a/volumes/milvus/rdb_data/LOG b/volumes/milvus/rdb_data/LOG
diff --git a/volumes/milvus/rdb_data/OPTIONS-000030 b/volumes/milvus/rdb_data/OPTIONS-000030
diff --git a/volumes/milvus/rdb_data_meta_kv/000031.sst b/volumes/milvus/rdb_data_meta_kv/000031.sst
diff --git a/volumes/milvus/rdb_data_meta_kv/CURRENT b/volumes/milvus/rdb_data_meta_kv/CURRENT
@@ -1 +1 @@
-MANIFEST-000035
+MANIFEST-000073