Files
integral-shop/docs/com-bygsf212-data-imgration.md
2026-06-15 09:33:00 +08:00

6.9 KiB
Raw Blame History

公司名称: 宝应桂圣富商贸/鼎信汇商贸

  • host ip: 118.31.36.212

mysql数据库配置信息

datasource: rds: rm-bp1a178eq62lxba9xbo.mysql.rds.aliyuncs.com name: bygsf212 username: yangtangyoupin password: 5Fn8eWrbYFtAhCZw

数据清理任务

  • 用户数据范围wa_users.id / eb_user.uid 保留名单: 92688, 92880, 92904, 92964, 93098, 93141, 93164, 93235, 93251, 93259, 93267, 93270, 93272, 93273, 93276, 93284, 93292, 93300

    来源核对:

    • 博森元团队成员信息表.xlsx / bsy-yangtangyoupin dump92688, 92904, 92964, 93164, 93251, 93259, 93272, 93273, 93276
    • 金雅文团队成员信息表.xlsx / jyw-yangtangyoupin dump92880, 93098, 93141, 93235, 93259, 93267, 93270, 93284, 93292, 93300
    • 备注:93259 在两份源 dump 中均存在,但对应不同人员;上方保留名单按 wa_users.id / eb_user.uid 去重后记录。
  • 保留wa_users表中id在用户id数据范围的 ,删除其余用户数据

  • 保留eb_user表中uid在用户id数据范围的 ,删除其余用户数据

  • wa_order 清空wa_order表中数据

  • wa_merchandise 从源数据dump文件中提取“created_at >= 2026-06-12”并且seller_id或buyer_id在用户id数据范围的寄售商品删除其余数据 (当前库表字段为 user_id 表示卖家,实现时按 user_id 与日期条件过滤。)

  • wa_selfbonus_log 只保留 user_id 在用户id数据范围内的记录删除其余数据

  • wa_sharebonus_log 只保留 user_id 在用户id数据范围内的记录删除其余数据

  • wa_coupon_log 只保留 user_id 在用户id数据范围内的记录删除其余数据

  • wa_withdraw 清空wa_withdraw表中数据

  • eb_store_order 清空eb_store_order表中数据

  • eb_user_integral_record 只保留用户在名单内的记录;表字段为 uid(与 wa_users.id / eb_user.uid 对应),实现按 uid 过滤。

执行结果

  • 已于 2026-06-14 按当前保留名单执行清理并 COMMIT
  • 执行脚本:docs/sql/run_com_bygsf212_cleanup.py
  • 执行前备份:docs/sql/backups/bygsf212_cleanup_before_20260614_194640.sql.gz(已通过 gzip -t 校验)
  • dump 中满足 wa_merchandise.created_at >= 2026-06-12user_id 在保留名单内的记录:
    • bsy-yangtangyoupin_2026-06-14_14-25-01_mysql_data.sql15 行
    • jyw-yangtangyoupin_2026-06-14_14-55-01_mysql_data.sql18 行
  • 当前目标库实际命中的 wa_merchandise 保留记录18 行
  • 保留后行数:
    • wa_users14
    • eb_user14
    • wa_order0
    • wa_merchandise18
    • wa_selfbonus_log846
    • wa_sharebonus_log764
    • wa_coupon_log173
    • wa_withdraw0
    • eb_store_order0
    • eb_user_integral_record870
  • 复核:wa_userseb_userwa_selfbonus_logwa_sharebonus_logwa_coupon_logeb_user_integral_record 均无保留名单外记录。
  • 备注:保留名单共 18 个 ID当前目标库仅存在其中 14 个;执行按 wa_users.id / eb_user.uid 过滤,未从源 dump 导入缺失用户或改写当前库用户身份。

博森元团队补充迁移结果

  • 已于 2026-06-14bsy-yangtangyoupin_2026-06-14_14-25-01_mysql_data.sql 补迁博森元团队数据并 COMMIT
  • 执行脚本:docs/sql/run_com_bygsf212_bsy_supplement.py
  • 执行前备份:docs/sql/backups/bygsf212_bsy_supplement_before_20260614_213738.sql.gz(已通过 gzip -t 校验)
  • 迁移策略:不覆盖当前目标库已存在的金雅文/当前用户;博森元中 ID 已被占用但手机号不同的用户分配新 uid / wa_users.id,并同步改写迁移数据中的 user_id / uid / pid / spread_uid
  • 博森元用户 ID 映射:
    • 92688:李霞 / 18118281551(沿用原 ID
    • 92904:邓桂花 / 15951431026(沿用原 ID
    • 92964:王平君 / 18796696663(沿用原 ID
    • 93164:周爱平 / 15190438222(沿用原 ID
    • 93251 -> 93315:乔秀勇 / 18136259551
    • 93259 -> 93316:郑仁风 / 18352718222
    • 93273 -> 93317:夏辉 / 18936239839
    • 93272 -> 93318:刘艾平 / 18724108815
    • 93276 -> 93319:韩玉霞 / 19281861596
  • 本次补迁插入行数:
    • wa_users9
    • eb_user9
    • wa_merchandise14
    • wa_selfbonus_log673
    • wa_sharebonus_log861
    • wa_coupon_log146
    • eb_user_integral_record679
  • 补迁后行数:
    • wa_users23
    • eb_user23
    • wa_merchandise32
    • wa_selfbonus_log1519
    • wa_sharebonus_log1625
    • wa_coupon_log319
    • eb_user_integral_record1549
  • 复核9 个博森元用户均已在 wa_users / eb_user 中;原冲突 ID 用户(如 93251 龚华侨、93259 薛春华等)仍保留;eb_user_integral_record 无孤儿 uid
  • 备注:补迁脚本已处理复跑幂等;补迁完成后再次 dry-run 显示所有博森元手机号已存在,插入行数为 0。

移除冲突用户结果

  • 已于 2026-06-15 清除当前库中 龚华侨杜紅梅/杜红梅戴庆宏陈晓平 4 个用户相关数据并 COMMIT
  • 清除用户:
    • 93251:龚华侨 / 15952530725
    • 93272:杜紅梅 / 13952547832
    • 93273:戴庆宏 / 15000637090
    • 93276:陈晓平 / 15995103126
  • 执行脚本:docs/sql/run_com_bygsf212_remove_conflict_users.py
  • 执行前备份:docs/sql/backups/bygsf212_remove_93251_93272_93273_93276_before_20260615_085155.sql.gz(已通过 gzip -t 校验)
  • 本次删除行数:
    • wa_users4
    • eb_user4
    • wa_selfbonus_log31
    • wa_sharebonus_log14
    • wa_address4
    • wa_alipay4
    • eb_user_address4
    • eb_user_bill2
    • eb_user_experience_record2
    • eb_user_integral_record33
    • eb_user_visit_record2
  • 未命中需要清除的数据:wa_orderwa_merchandisewa_coupon_logwa_withdraweb_store_order 等为 0 行;无外部 wa_users.pid / eb_user.spread_uid 引用需要改挂。
  • 清除后复核:
    • 上述 4 个 uid 与手机号在 wa_users / eb_user 中均不存在。
    • 相关日志、地址、积分、访问记录表中均无这 4 个 uid 残留。
    • 博森元补迁后分配的新用户 93315 乔秀勇、93316 郑仁风、93317 夏辉、93318 刘艾平、93319 韩玉霞仍存在。
  • 清除后核心表行数:
    • wa_users19
    • eb_user19
    • wa_merchandise32
    • wa_selfbonus_log1488
    • wa_sharebonus_log1611
    • wa_coupon_log319
    • eb_user_integral_record1516

相关文件

  • 源数据 dump
    • /Users/mac/Works26/miao-july/宝应鼎信汇/bsy-yangtangyoupin_2026-06-14_14-25-01_mysql_data.sql
    • /Users/mac/Works26/miao-july/宝应鼎信汇/jyw-yangtangyoupin_2026-06-14_14-55-01_mysql_data.sql
  • 团队成员信息:
    • /Users/mac/Works26/miao-july/宝应鼎信汇/博森元团队成员信息表.xlsx
    • /Users/mac/Works26/miao-july/宝应鼎信汇/金雅文团队成员信息表.xlsx