6.9 KiB
公司名称: 宝应桂圣富商贸/鼎信汇商贸
- host ip: 118.31.36.212
mysql数据库配置信息
datasource: rds: rm-bp1a178eq62lxba9xbo.mysql.rds.aliyuncs.com name: bygsf212 username: yangtangyoupin password: 5Fn8eWrbYFtAhCZw
数据清理任务
-
用户数据范围:
wa_users.id/eb_user.uid保留名单:92688, 92880, 92904, 92964, 93098, 93141, 93164, 93235, 93251, 93259, 93267, 93270, 93272, 93273, 93276, 93284, 93292, 93300来源核对:
- 博森元团队成员信息表.xlsx / bsy-yangtangyoupin dump:
92688, 92904, 92964, 93164, 93251, 93259, 93272, 93273, 93276 - 金雅文团队成员信息表.xlsx / jyw-yangtangyoupin dump:
92880, 93098, 93141, 93235, 93259, 93267, 93270, 93284, 93292, 93300 - 备注:
93259在两份源 dump 中均存在,但对应不同人员;上方保留名单按wa_users.id/eb_user.uid去重后记录。
- 博森元团队成员信息表.xlsx / bsy-yangtangyoupin dump:
-
保留wa_users表中id在用户id数据范围的 ,删除其余用户数据
-
保留eb_user表中uid在用户id数据范围的 ,删除其余用户数据
-
wa_order 清空wa_order表中数据
-
wa_merchandise 从源数据dump文件中提取“created_at >= 2026-06-12”并且seller_id或buyer_id在用户id数据范围的寄售商品,删除其余数据 (当前库表字段为
user_id表示卖家,实现时按user_id与日期条件过滤。) -
wa_selfbonus_log 只保留
user_id在用户id数据范围内的记录,删除其余数据 -
wa_sharebonus_log 只保留
user_id在用户id数据范围内的记录,删除其余数据 -
wa_coupon_log 只保留
user_id在用户id数据范围内的记录,删除其余数据 -
wa_withdraw 清空wa_withdraw表中数据
-
eb_store_order 清空eb_store_order表中数据
-
eb_user_integral_record 只保留用户在名单内的记录;表字段为
uid(与wa_users.id/eb_user.uid对应),实现按uid过滤。
执行结果
- 已于 2026-06-14 按当前保留名单执行清理并
COMMIT。 - 执行脚本:
docs/sql/run_com_bygsf212_cleanup.py - 执行前备份:
docs/sql/backups/bygsf212_cleanup_before_20260614_194640.sql.gz(已通过gzip -t校验) - dump 中满足
wa_merchandise.created_at >= 2026-06-12且user_id在保留名单内的记录:bsy-yangtangyoupin_2026-06-14_14-25-01_mysql_data.sql:15 行jyw-yangtangyoupin_2026-06-14_14-55-01_mysql_data.sql:18 行
- 当前目标库实际命中的
wa_merchandise保留记录:18 行 - 保留后行数:
wa_users:14eb_user:14wa_order:0wa_merchandise:18wa_selfbonus_log:846wa_sharebonus_log:764wa_coupon_log:173wa_withdraw:0eb_store_order:0eb_user_integral_record:870
- 复核:
wa_users、eb_user、wa_selfbonus_log、wa_sharebonus_log、wa_coupon_log、eb_user_integral_record均无保留名单外记录。 - 备注:保留名单共 18 个 ID,当前目标库仅存在其中 14 个;执行按
wa_users.id/eb_user.uid过滤,未从源 dump 导入缺失用户或改写当前库用户身份。
博森元团队补充迁移结果
- 已于 2026-06-14 从
bsy-yangtangyoupin_2026-06-14_14-25-01_mysql_data.sql补迁博森元团队数据并COMMIT。 - 执行脚本:
docs/sql/run_com_bygsf212_bsy_supplement.py - 执行前备份:
docs/sql/backups/bygsf212_bsy_supplement_before_20260614_213738.sql.gz(已通过gzip -t校验) - 迁移策略:不覆盖当前目标库已存在的金雅文/当前用户;博森元中 ID 已被占用但手机号不同的用户分配新
uid/wa_users.id,并同步改写迁移数据中的user_id/uid/pid/spread_uid。 - 博森元用户 ID 映射:
92688:李霞 /18118281551(沿用原 ID)92904:邓桂花 /15951431026(沿用原 ID)92964:王平君 /18796696663(沿用原 ID)93164:周爱平 /15190438222(沿用原 ID)93251 -> 93315:乔秀勇 /1813625955193259 -> 93316:郑仁风 /1835271822293273 -> 93317:夏辉 /1893623983993272 -> 93318:刘艾平 /1872410881593276 -> 93319:韩玉霞 /19281861596
- 本次补迁插入行数:
wa_users:9eb_user:9wa_merchandise:14wa_selfbonus_log:673wa_sharebonus_log:861wa_coupon_log:146eb_user_integral_record:679
- 补迁后行数:
wa_users:23eb_user:23wa_merchandise:32wa_selfbonus_log:1519wa_sharebonus_log:1625wa_coupon_log:319eb_user_integral_record:1549
- 复核:9 个博森元用户均已在
wa_users/eb_user中;原冲突 ID 用户(如93251龚华侨、93259薛春华等)仍保留;eb_user_integral_record无孤儿uid。 - 备注:补迁脚本已处理复跑幂等;补迁完成后再次 dry-run 显示所有博森元手机号已存在,插入行数为 0。
移除冲突用户结果
- 已于 2026-06-15 清除当前库中
龚华侨、杜紅梅/杜红梅、戴庆宏、陈晓平4 个用户相关数据并COMMIT。 - 清除用户:
93251:龚华侨 /1595253072593272:杜紅梅 /1395254783293273:戴庆宏 /1500063709093276:陈晓平 /15995103126
- 执行脚本:
docs/sql/run_com_bygsf212_remove_conflict_users.py - 执行前备份:
docs/sql/backups/bygsf212_remove_93251_93272_93273_93276_before_20260615_085155.sql.gz(已通过gzip -t校验) - 本次删除行数:
wa_users:4eb_user:4wa_selfbonus_log:31wa_sharebonus_log:14wa_address:4wa_alipay:4eb_user_address:4eb_user_bill:2eb_user_experience_record:2eb_user_integral_record:33eb_user_visit_record:2
- 未命中需要清除的数据:
wa_order、wa_merchandise、wa_coupon_log、wa_withdraw、eb_store_order等为 0 行;无外部wa_users.pid/eb_user.spread_uid引用需要改挂。 - 清除后复核:
- 上述 4 个
uid与手机号在wa_users/eb_user中均不存在。 - 相关日志、地址、积分、访问记录表中均无这 4 个
uid残留。 - 博森元补迁后分配的新用户
93315乔秀勇、93316郑仁风、93317夏辉、93318刘艾平、93319韩玉霞仍存在。
- 上述 4 个
- 清除后核心表行数:
wa_users:19eb_user:19wa_merchandise:32wa_selfbonus_log:1488wa_sharebonus_log:1611wa_coupon_log:319eb_user_integral_record:1516
相关文件
- 源数据 dump:
/Users/mac/Works26/miao-july/宝应鼎信汇/bsy-yangtangyoupin_2026-06-14_14-25-01_mysql_data.sql/Users/mac/Works26/miao-july/宝应鼎信汇/jyw-yangtangyoupin_2026-06-14_14-55-01_mysql_data.sql
- 团队成员信息:
/Users/mac/Works26/miao-july/宝应鼎信汇/博森元团队成员信息表.xlsx/Users/mac/Works26/miao-july/宝应鼎信汇/金雅文团队成员信息表.xlsx