数据孤岛难倒AI落地金融业?微众****用联邦学习和GPU这样破局
例如写完算法后,如果发现GPU加速效果不如预期,可以使用SDK中自带的Profile工具去做详细分析,它不仅会直接告诉你问题所在,比如把寄存器用的太过了,而且会引导你一步一步去解决问题,比如怎么优化寄存器的应用、怎么平衡并行和寄存器占用的关系。 黄启军回忆道,问题解决后,“效果立即就有2-3倍的提升。” 在NVIDIA GPU平台的基础上,微众联邦学习还提出了三种优化方法,进一步挖掘GPU的加速潜力。 第一步,基于分治思想做元素级并行,通过递归将大整数乘法分解成可并行的小整数乘法; 第二步,结合平方乘算法和蒙哥马利算法,降低运算复杂度,并完全避免了取模运算; 第三步,用中间剩余定理减小中间计算结果。 优化后评测结果显示,相对于传统方法,星云Clustar基于GPU所做的优化方案,将同态加密效率提升了5.8倍,将同态解密效率提升了5.93倍,将密态乘法效率提升了31.4倍,将密态加法的效率提升了419倍。
黄启军表示,微众****AI团队还希望进一步探索更高的算力支撑。 三、从金融防控到精准医疗,联邦学习应用日趋丰富继在学术界掀起研究热潮后,联邦学习技术也逐渐渗透到更多行业应用中,解决金融、零售、医疗等典型AI应用场景中的有效数据少和数据合规难题,推动跨领域的数据共享与融合。 1、金融风控:破解小微企业贷款难题 在金融领域,联邦学习能帮助显著改善风险量化能力、降低整体金融产品价格。 比如小微企业贷款,****一般只有征信报告和部分国家政策允许获得的税务数据,但70%以上的小微企业是白户,没有任何征信记录和税务记录。发票对评估企业信用风险很有帮助,但当前70%-80%的发票数据均由税控发票机登记,数据比较敏感,不方便直接披露给****。
基于保证原始数据不交换的前提,微众****将贷款客户信用数据与发票登记信息进行联合建模,优化风控模型,解决了70%以上无历史信用信息的小微企业贷款难问题。目前通过这种联合建模所支撑的企业贷款发放量已超过10亿。 微众****还牵手腾讯云神盾沙箱,帮助对数据依赖强的机构在保护数据隐私的前提下进一步挖掘数据价值,推进AI落地应用。 2、精准引流:提升信息和资源匹配的效率 智慧零售中的个性化产品推荐、定向广告投放等服务,对吸引客流、培养用户习惯至关重要。但在实际应用中,这些业务涉及的数据特征通常分散在不同部门或企业。 比如****有购买能力的特征,社交平台拥有用户个人偏好特征,电商平台则拥有产品特点的特征。如果将这些数据结合,就能构建更精准的营销模型、推荐模型,但隐私问题又是迈不过的门槛,联邦学习则成为可行之径。 在保护三方数据互不交流的基础上,联邦学习构建比单独建模更精准的AI模型。微众****曾通过联邦学习将采购备货准确率提升21.4%。 3、智慧医疗:突破数据标注缺失瓶颈 医疗领域的数据具有高度隐私、数据分散的特点,单一组织往往缺乏足够样本。 数据标注也严重缺失。有人曾估计,把医疗数据放在第三方公司标注,需要动用1万人用长达10年的时间,才能集齐有效的数据。 联邦学习可以在保证不进行数据交换的前提下,聚集多家医院、多个部门的病患数据资源构建一个共享模型,其效果要远远超过各医院只用自己的数据集训练出的AI模型,各医院共同获益。 (编辑:186手机网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |