| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 2.81 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
For a company considering automating its decisions with machine learning, there are two fundamental considerations. First, the associated risks and rewards of this technology need to be evaluated. Second, as businesses often refrain from adopting machine learning in their processes due to lack of understanding, the issue of the interpretability of ML models must be addressed. The aim of the thesis is to automate credit qualification assessment for increased decision-making speed and quality. To do that, we summarize the literature regarding the use of ML in credit qualification. We then build a prediction model by combining state-of-the-art Bagging and Boosting algorithms including XGBoost and LightGBM and demonstrate their performance on a large dataset from a German bank. The methodology consists of data preparation, model construction and state-of-the-art hyperparameter optimization. These models are then combined into a heterogenous ensemble through a Bagging algorithm. For performance evaluation, we use several state-of-the-art metrics. We find LightGBM to be the best performing individual classifier and the heterogenous ensemble to outperform the individual models. While the out-of-sample performance of the models show a noticeable decrease, we conclude that partial automation of the credit qualification assessment based on the model is feasible and profitable. To address the explainability of the Classifier’s decisions, state-of-the-art model interpretation software SHAP is utilized. We show that the overall model as well as individual decisions can be interpreted, also shedding light on implicit decision factors that are present in the current manual process.
As empresas que automatizam as suas decisões com a aprendizagem automática têm de fazer duas considerações fundamentais. Em primeiro lugar, é necessário avaliar os riscos e os benefícios associados a esta tecnologia. Em segundo lugar, como as empresas muitas vezes se abstêm de integrar a aprendizagem automática nos seus processos devido à falta de compreensão, é necessário abordar a questão dos modelos de aprendizagem automática interpretáveis. O objetivo desta tese é automatizar a avaliação da qualificação do crédito para aumentar a velocidade e a qualidade da tomada de decisões. Para isso, é feita uma síntese da literatura sobre o uso de ML na qualificação de crédito. Em seguida, constrói-se um modelo de previsão com algoritmos de Bagging e Boosting, incluindo XGBoost e LightGBM, e demonstra-se o seu desempenho num grande conjunto de dados bancários. A metodologia consiste na preparação de dados, construção de modelos e otimização de hiperparâmetros. Estes modelos são depois combinados num conjunto heterogéneo através de um algoritmo de Bagging. Para a avaliação do desempenho, utilizamos várias métricas. Verificamos que o LightGBM é o melhor classificador e que o conjunto heterogéneo por vezes supera os modelos individuais. Embora o desempenho fora da amostra dos modelos mostre uma diminuição, concluímos que a automatização da avaliação da qualificação do crédito com base no modelo é viável. Em última análise, é utilizado o software de interpretação de modelos SHAP, que é o mais avançado. Mostramos que o modelo global e as decisões individuais podem ser interpretados, revelando factores de decisão implícitos.
As empresas que automatizam as suas decisões com a aprendizagem automática têm de fazer duas considerações fundamentais. Em primeiro lugar, é necessário avaliar os riscos e os benefícios associados a esta tecnologia. Em segundo lugar, como as empresas muitas vezes se abstêm de integrar a aprendizagem automática nos seus processos devido à falta de compreensão, é necessário abordar a questão dos modelos de aprendizagem automática interpretáveis. O objetivo desta tese é automatizar a avaliação da qualificação do crédito para aumentar a velocidade e a qualidade da tomada de decisões. Para isso, é feita uma síntese da literatura sobre o uso de ML na qualificação de crédito. Em seguida, constrói-se um modelo de previsão com algoritmos de Bagging e Boosting, incluindo XGBoost e LightGBM, e demonstra-se o seu desempenho num grande conjunto de dados bancários. A metodologia consiste na preparação de dados, construção de modelos e otimização de hiperparâmetros. Estes modelos são depois combinados num conjunto heterogéneo através de um algoritmo de Bagging. Para a avaliação do desempenho, utilizamos várias métricas. Verificamos que o LightGBM é o melhor classificador e que o conjunto heterogéneo por vezes supera os modelos individuais. Embora o desempenho fora da amostra dos modelos mostre uma diminuição, concluímos que a automatização da avaliação da qualificação do crédito com base no modelo é viável. Em última análise, é utilizado o software de interpretação de modelos SHAP, que é o mais avançado. Mostramos que o modelo global e as decisões individuais podem ser interpretados, revelando factores de decisão implícitos.
Description
Keywords
Consumer credit Decision intelligence Decision automation Bagging algorithms Boosting algorithms Explainable AI Crédito ao consumo Inteligência de decisão Automatização da decisão Algoritmos de ensacamento Algoritmos de reforço IA explicável