面向姑苏区基础人口库的自动数据清洗工具

为实现姑苏区基础人口库的大数据集成，需要开发自动化的人口数据清洗工具，该工具需要完成：
（1）通过姑苏区政务网，定期获取苏州市人口库中姑苏区范围的相关数据，包括常住人口、流动人口、标准街路巷地址及代码、数据字典、人员社保信息、教育信息、医疗信息、民政信息等。
（2）针对人口库信息中的人口姓名、居住地址、身份证号码、手机号码、户籍类型、居住类型等关键信息进行数据清洗比对。以身份证号码为唯一主索引，清洗来自公安、民政、社保、教育、医疗等部门的人口专题数据，实现人口数据的相互关联；以公安标准街路巷地址为标准，清洗居民的居住地址；依据公安户籍变动更新信息，更新清洗各个来源信息中的户籍类型、居住类型以及人员生存状态等信息。
（3）设计人口数据清洗的标准和接口规范，实现自动同步、自动清洗的功能。并对难以进行自动清洗的部分数据实现手工比对接口。
（4）对数据对接过程进行监控，并对数据清洗进行分析。监控接口的运行情况、对接数据量情况；分析各个清洗工具自动清洗的数据量，人工清洗的数据量以及无法清洗的数据量。
综上，通过数据清洗工具以及人工清洗比对功能，以居民身份证为唯一主索引，实现多主题人口数据的关联管理；实现数据自动对接姑苏区人口库系统，把经过清洗的数据实现自动传输到姑苏区人口库系统，并通过姑苏区人口库系统实现对姑苏区各局办单位的信息化支撑；实现数据清洗、对接、传输过程中的监控和分析。