mysql - rds의 auto_increment가 증가하지 않습니다.

[lky3004me]

uploadRds.log
products테이블의 id값에 auto_increment가 설정되어있고, increment_increment값이 1인 것을 확인했습니다.
하지만 auto_increment의 값이 증가하지 않아 크론탭으로 uploadRds라는 코드를 작동시키면

데이터 삽입 오류: 1062 (23000): Duplicate entry '0' for key 'products.PRIMARY'

위의 에러갑 발생하여 코드가 정상적으로 작동하지 않습니다.
혹시 어떠한 이유로 auto_increment가 증가하지 않을지 궁금합니다

import pandas as pd
import mysql.connector
import requests
from mysql.connector import Error
import datetime
import sentry_sdk

sentry_sdk.init(
    dsn="https://459d18e16849ab25ab7d145e572c33a9@o4507826695307264.ingest.us.sentry.io/4507826698452992",
    traces_sample_rate=1.0,
    profiles_sample_rate=1.0,
)

current_time = datetime.datetime.now().strftime("%y%m%d")
csv_file_path = f'/Users/lky3004me/jejuProjectPreprocess/pythonProject/result/danawa_output_result_{current_time}.csv'

WEBHOOK_URL = 'https://discord.com/api/webhooks/1276511055517843508/atKqvqKZSzMsJ4f_3gMsmNjjqvbLKrwvNw6xBPp5S4K0hm53gjQp_2mmswCuM4Oa-yLn'


# 전날 데이터 history 테이블로 이동
def insert_yesterday_data_to_history(connection):
    cursor = connection.cursor()

    # 전날 데이터를 priceHistory에 넣기 전에 이미 있는지 확인
    check_exists_query = """
    SELECT 1 FROM priceHistory
    WHERE DATE(updated_at) = CURDATE() - INTERVAL 1 DAY
    LIMIT 1
    """
    cursor.execute(check_exists_query)
    exists = cursor.fetchone()

    if not exists:
        # 전날의 데이터를 priceHistory 테이블로 옮김
        insert_history_query = """
        INSERT INTO priceHistory (product_name, previous_price, updated_at)
        SELECT pr.product_name, p.set_price, p.updated_at
        FROM prices p
        JOIN products pr ON p.product_id = pr.id
        WHERE DATE(p.updated_at) = CURDATE() - INTERVAL 1 DAY
        """
        cursor.execute(insert_history_query)
        connection.commit()
        print("전날의 데이터가 priceHistory에 성공적으로 저장되었습니다.")
    else:
        print("전날의 데이터는 이미 존재합니다.")


def send_discord_message(content):
    data = {"content": content, "username": "scrapper"}
    response = requests.post(WEBHOOK_URL, json=data)
    if response.status_code == 204:
        print("메시지가 성공적으로 전송되었습니다.")
    else:
        print(f"메시지 전송 오류: {response.status_code}")


def notify_start():
    send_discord_message("🚀 프로그램이 시작되었습니다.")


def notify_end(result):
    send_discord_message(f"✅ 프로그램이 완료되었습니다. 결과: {result}")


def notify_error(error, error_count):
    if error_count % 100 == 0:  # 에러가 100번 발생할 때마다 알림 전송
        send_discord_message(f"⚠️ 프로그램 실행 중 오류가 발생했습니다: {error} (에러 카운트: {error_count})")


def create_connection():
    try:
        connection = mysql.connector.connect(
            host='bigbrother.cn6qskgu854z.ap-northeast-2.rds.amazonaws.com',
            database='slimdealz',
            user='bigbro',
            password='bigbrother!!'
        )
        if connection.is_connected():
            print("MySQL 데이터베이스에 연결 성공")
        return connection
    except Error as e:
        print(f"Error: {e}")
        return None


def read_csv(file_path):
    try:
        data = pd.read_csv(file_path)
        print("CSV 파일 읽기 성공")
        return data
    except FileNotFoundError as e:
        print(f"파일을 찾을 수 없습니다: {e}")
        return None


def insert_data(connection, row, error_count):
    cursor = connection.cursor()

    # products 테이블에 vendor_url을 추가한 SQL 쿼리
    insert_product_query = """
    INSERT INTO products (product_name, shipping_price, product_category, vendor_url, created_at)
    VALUES (%s, %s, %s, %s, NOW())
    """

    insert_price_query = """
    INSERT INTO prices (product_id, vendor_id, set_price, created_at)
    VALUES (%s, %s, %s, NOW())
    """

    insert_vendor_query = """
    INSERT INTO vendors (vendor_name, vendor_url, created_at)
    VALUES (%s, %s, NOW())
    """

    try:
        # product_category가 None일 경우 공백으로 처리
        product_category = row['product_category'] if pd.notnull(row['product_category']) else ""

        # 벤더 정보 삽입
        cursor.execute(insert_vendor_query, (row['mall_name'], row['final_vendor_url']))
        vendor_id = cursor.lastrowid  # 방금 삽입된 vendor_id 가져오기

        # 상품 정보 삽입 (vendor_url 추가)
        cursor.execute(insert_product_query,
                       (row['product_name'], row['shipping_value'], product_category, row['final_vendor_url']))
        product_id = cursor.lastrowid  # 방금 삽입된 product_id 가져오기

        # 가격 정보 삽입
        cursor.execute(insert_price_query, (product_id, vendor_id, row['product_price']))

        # 커밋
        connection.commit()
        print(f"상품 '{row['product_name']}'이(가) 데이터베이스에 성공적으로 삽입되었습니다.")
    except Error as e:
        error_count += 1  # 에러 발생 시 카운터 증가
        print(f"데이터 삽입 오류: {e}")
        connection.rollback()
        notify_error(e, error_count)

    return error_count  # 업데이트된 에러 카운트를 반환


def main():
    notify_start()
    connection = create_connection()
    if connection is None:
        return

    # 1. 전날의 데이터를 priceHistory에 저장
    insert_yesterday_data_to_history(connection)

    # 2. 크롤링된 데이터를 읽고 prices 테이블에 삽입
    data = read_csv(csv_file_path)
    if data is None:
        return

    filtered_data = data[
        ['product_price', 'product_name', 'mall_name', 'final_vendor_url', 'shipping_value', 'product_url',
         'product_category']]

    error_count = 0  # 에러 카운터 초기화

    for index, row in filtered_data.iterrows():
        error_count = insert_data(connection, row, error_count)

    connection.close()
    notify_end("rds 업로드 완료")


if __name__ == "__main__":
    main()

[ej31]

insert 할 때 ID 컬럼 빼셔야 합니다. 안그러면 auto increment 작동을 안해용

[lky3004me]

id 칼럼을 분명히 제거했었습니다. 본문에 포함된 코드 중 아이디 관련된 것도, 해당 테이블의 아이디가 아닌 auto increment가 적용된 다른 테이블의 아이디를 가져온 것입니다

[ej31]

일단 auto increment 값을 최신화해보고 모니터링 한번 더 해봅시다

[ej31]

같은 현상 또 발생하면 같이 추적해봐요 🤡