Full Spectrum: 信贷与银行

我是谁?

我的名字是 Hussain Sultan。我是 Full Spectrum Analytics 的合伙人。我为银行创建个性化的分析软件,以实现公平和有利可图的决策。

我正在解决什么问题?

贷款业务创建和管理估值和现金流模型,这些模型输出客户群体的盈利能力预期。这些模型很复杂,因为它们形成了一个需要高效评分并大规模跟踪输入/输出的方程网络。

Dask 如何提供帮助

Dask 在我的工作中发挥了重要作用,用于创建高效的现金流模型管理系统和数据湖上的通用数据科学赋能。

Dask 提供了一种将现金流方程的依赖关系构建为 DAG(使用 dask.delayed 接口)的方法,并为构建评分/游戏化/模型跟踪应用程序提供了良好的开发者体验。

我最初选择 Dask 的原因

我选择 Dask 有三个原因

  1. 它轻量级

  2. 针对数据帧和任意计算的精细任务调度方法非常适合我的用例

  3. 使用 Python 程序员扩展我的团队很容易

在我们的问题中使用 Dask 的一些痛点

如果没有供应商支持和企业 SLA,很难获得组织认可来采用开源技术。

在最近的一个项目中,我们不得不与 Orc 数据格式集成,这比我最初预期的要昂贵(加上企业 Hadoop 设置和加密要求)。不过,这些更改后来已经上游合并,所以现在事情变得更容易了。

我们围绕 Dask 使用的一些技术

我们在通用内部服务器上进行部署,使用 Jenkins 调度 Jupyter Notebook 执行。我们使用内部分析平台构建了所有东西。由于一切都在公司防火墙后面,我们无需担心安全问题。