PROJETO: Análise e detecção de fraudes em transações imobiliárias

Parte 1

A análise de fraude combina tecnologia e técnicas analíticas com interação humana para ajudar a detectar possíveis transações impróprias, como aquelas com base em fraude e/ou suborno, antes que as transações sejam concluídas ou depois que elas ocorrem.

O processo de análise de fraude envolve a coleta e armazenamento de dados relevantes e explorando-o em busca de padrões, discrepâncias e anomalias.

Definição do Problema

Uma empresa fornece seguros para imóveis na cidade de Nova Iorque nos EUA. Visando calcular o valor do seguro da melhor forma possível, a empresa deseja uma análise e detecção de fraude nos dados de transações imobiliárias de toda cidade.

Primeiro a empresa precisa de um relatório que demonstre que os dados são confiáveis e coerentes e que a qualidade da informação que eles oferecem pode ser usada para prever possíveis fraudes. Sendo assim, devemos apresentar um DQR –Data Quality Report com uma análise exploratória dos dados.

Por fim a empresa precisa de um score para cada transação a fim de checar aquelas com maior possibilidadede ter alguma fraude. O Score de Fraude (Fraud Score) deve ser o mais preciso possível e deve ser gerado um score para cada transação. Não há informação prévia se uma transação foi ou não fraudulenta.

Escopo do Projeto

Neste projeto iremos abordar a técnica de análise de fraude com base nos dados históricos e Não temos como objetivo fazer previsões em outros dados.

Vamos avaliar as transações e para cada transação o algoritmo irá retornar uma pontuação, as pontuações mais altas podem indicar que haja algo estranho, mas não temos como afirmar, porque vamos utilizar um algoritmo não-supervisionado e não temos a resposta para treinar o algoritmo.

O algoritmo será treinado para detectar os padrões existentes e calcularemos o score utilizando equações matemáticas, que são técnicas utilizadas na prática para detectar potenciais fraudes.

Os algoritmos usados serão PCA, para redução da dimensionalidade e Deep Learning com uso de Tensorflow e Autoencoder.

Etapas do Projeto

Este projeto foi dividido em 3 partes:

• Parte 1: Vamos conhecer nossos dados e fazer uma análise exploratória das principais variáveis definidas em conjunto com o pessoal de Negócios.
• Parte 2: Serão realizadas as devidas limpezas, transformações das variáveis e feature engineering ou engenharia de atributos.
• Parte 3: É hora da modelagem, reduziremos a dimensionalidade e calcularemos o Score 1, depois aplicaremos inteligencia artificial com Autoencoder e calcularemos o score 2, por fim calcularemos o Score Final.

Apresentação dos resultados

Os resultados serão apresentados em forma de relatório no Power BI aos tomadores de decisão.

Sumário

Parte 1: Análise Exploratória

1. Importando as bibliotecas e carregando os dados
   
2. Análise Exploratória dos dados
   
3. Conclusão
   

`Parte 2:` Limpeza, transformação e Feature Engineering

1. Importando as bibliotecas e carregando os dados
2. Limpeza e transformação dos dados
2.1 Limpando valores ausentes da variável: ZIP
2.2 Limpando valores ausentes das variáveis: FULLVAL, AVLAND, AVTOT, BLDFRONT, BLDDEPTH, LTFRONT e LTDEPTH
2.3 Limpando valores ausentes da variável: STORIES
3. Engenharia de Atributos
4. Conclusão

`Parte 3:` Modelagem e calculo do Score de Fraude

1. Importando as bibliotecas e carregando os dados
2. Padronização das variáveis
3. Aplicando PCA
3.1. Aplicação da Escala Z em componentes PCA Padronizados
3.2 Calculando o Fraud Score 1
4. Aplicacando Deep Learning
4.1 Construção do Modelo
4.2 Avaliação do modelo
4.3 Calculando o Fraud Score 2
5. Calculando o Score Final do Score de Fraude e apresentando os Resultados
6. Conclusão
7. Referências

Sobre os dados

Os dados são públicos e fornecidos pelo portal de dados abertos da cidade de Nova Iorque, podendo ser baixado clicando aqui.

As definições e termos podem ser obtidos neste site, clicando aqui.

1. Importando as bibliotecas e carregando os dados

# imports
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

import warnings
warnings.filterwarnings("ignore")

pd.set_option('display.max_columns', None)
pd.set_option('display.float_format', lambda x: '%.2f' % x)
%matplotlib inline

plt.style.use('ggplot')

# carregando os dados
df = pd.read_csv('Dados/dataset.csv', index_col=0)

# visualizando as primeiras linhas
df.head()

	BBLE	B	BLOCK	LOT	EASEMENT	OWNER	BLDGCL	TAXCLASS	LTFRONT	LTDEPTH	EXT	STORIES	FULLVAL	AVLAND	AVTOT	EXLAND	EXTOT	EXCD1	STADDR	ZIP	EXMPTCL	BLDFRONT	BLDDEPTH	AVLAND2	AVTOT2	EXLAND2	EXTOT2	EXCD2	PERIOD	YEAR	VALTYPE
RECORD
1	1000010101	1	1	101	NaN	U S GOVT LAND & BLDGS	P7	4	500	1046	NaN	NaN	21400000.00	4225500.00	9630000.00	4225500.00	9630000.00	4600.00	1 LIBERTY ISLAND	10004.00	X3	0	0	3775500.00	8613000.00	3775500.00	8613000.00	NaN	FINAL	2010/11	AC-TR
2	1000010201	1	1	201	NaN	U S GOVT LAND & BLDGS	Z9	4	27	0	NaN	NaN	193800000.00	14310000.00	87210000.00	14310000.00	87210000.00	4600.00	1 ELLIS ISLAND	10004.00	X3	0	0	11111400.00	80690400.00	11111400.00	80690400.00	NaN	FINAL	2010/11	AC-TR
3	1000020001	1	2	1	NaN	DEPT OF GENERAL SERVI	Y7	4	709	564	E	3.00	104686000.00	39008700.00	47108700.00	39008700.00	47108700.00	2191.00	MARGINAL STREET	10004.00	X1	709	564	32321790.00	40179510.00	32321790.00	40179510.00	NaN	FINAL	2010/11	AC-TR
4	1000020023	1	2	23	NaN	DEPARTMENT OF BUSINES	T2	4	793	551	NaN	2.00	39200000.00	15255000.00	17640000.00	15255000.00	17640000.00	2191.00	PIER 6	10004.00	X1	85	551	13644000.00	15750000.00	13644000.00	15750000.00	NaN	FINAL	2010/11	AC-TR
5	1000030001	1	3	1	NaN	PARKS AND RECREATION	Q1	4	323	1260	NaN	1.00	272300000.00	121050000.00	122535000.00	121050000.00	122535000.00	2231.00	BATTERY PARK	10004.00	X1	89	57	106348680.00	107758350.00	106348680.00	107758350.00	NaN	FINAL	2010/11	AC-TR

# visualizando as últimas linhas
df.tail()

	BBLE	B	BLOCK	LOT	EASEMENT	OWNER	BLDGCL	TAXCLASS	LTFRONT	LTDEPTH	EXT	STORIES	FULLVAL	AVLAND	AVTOT	EXLAND	EXTOT	EXCD1	STADDR	ZIP	EXMPTCL	BLDFRONT	BLDDEPTH	AVLAND2	AVTOT2	EXLAND2	EXTOT2	EXCD2	PERIOD	YEAR	VALTYPE
RECORD
1070990	5080500083	5	8050	83	NaN	TOBIN, GALE	A1	1	60	120	NaN	2.50	438000.00	14536.00	23322.00	1620.00	1620.00	1017.00	142 BENTLEY STREET	10307.00	NaN	30	26	NaN	NaN	NaN	NaN	NaN	FINAL	2010/11	AC-TR
1070991	5080500086	5	8050	86	NaN	SHERRI MILINAZZO	A1	1	62	228	NaN	2.50	544000.00	9303.00	14929.00	1620.00	1620.00	1017.00	146 BENTLEY STREET	10307.00	NaN	32	26	NaN	NaN	NaN	NaN	NaN	FINAL	2010/11	AC-TR
1070992	5080500089	5	8050	89	NaN	JOHN GERVASI	A1	1	53	273	G	2.00	480000.00	14790.00	22975.00	14728.00	14728.00	1015.00	150 BENTLEY STREET	10307.00	NaN	24	32	NaN	NaN	NaN	NaN	1017.00	FINAL	2010/11	AC-TR
1070993	5080500092	5	8050	92	NaN	RITA M MOOG	A1	1	52	136	NaN	2.00	543000.00	12388.00	23037.00	1620.00	1620.00	1017.00	156 BENTLEY STREET	10307.00	NaN	32	21	NaN	NaN	NaN	NaN	NaN	FINAL	2010/11	AC-TR
1070994	5080500094	5	8050	94	NaN	EDWARD DONOHUE	A1	1	50	80	NaN	2.00	473000.00	14061.00	22394.00	1620.00	1620.00	1017.00	162 BENTLEY STREET	10307.00	NaN	30	24	NaN	NaN	NaN	NaN	NaN	FINAL	2010/11	AC-TR

# visualizando o shape
print(f'Quantidade de linhas:  {df.shape[0]}')
print(f'Quantidade de colunas: {df.shape[1]}')

Quantidade de linhas:  1070994
Quantidade de colunas: 31

Vamos fazer um resumo, colocando em Data Frame:

• tipo_dados: checar se cada variável foi interpretado pelo python.
• dados_ausentes(%): Checar o quanto estão faltando do meu conjunto de dados
• valores_unicos: Olhar quantos valores únicos em cada variável, isso nos auxilia a detectar se alguma variável é categórica, por exemplo.

# resumo dos dados
pd.DataFrame({'tipo_dados':df.dtypes, 
              'dados_ausentes(%)':(df.isnull().mean())*100, 
              'valores_unicos':df.nunique()})

	tipo_dados	dados_ausentes(%)	valores_unicos
BBLE	object	0.00	1070994
B	int64	0.00	5
BLOCK	int64	0.00	13984
LOT	int64	0.00	6366
EASEMENT	object	99.57	12
OWNER	object	2.96	863346
BLDGCL	object	0.00	200
TAXCLASS	object	0.00	11
LTFRONT	int64	0.00	1297
LTDEPTH	int64	0.00	1370
EXT	object	66.92	3
STORIES	float64	5.25	111
FULLVAL	float64	0.00	109324
AVLAND	float64	0.00	70921
AVTOT	float64	0.00	112914
EXLAND	float64	0.00	33419
EXTOT	float64	0.00	64255
EXCD1	float64	40.38	129
STADDR	object	0.06	839280
ZIP	float64	2.79	196
EXMPTCL	object	98.55	14
BLDFRONT	int64	0.00	612
BLDDEPTH	int64	0.00	621
AVLAND2	float64	73.60	58591
AVTOT2	float64	73.60	111360
EXLAND2	float64	91.83	22195
EXTOT2	float64	87.78	48348
EXCD2	float64	91.32	60
PERIOD	object	0.00	1
YEAR	object	0.00	1
VALTYPE	object	0.00	1

Análise:

• Aparentemente (com ajuda do dicionário de dados), os dados foram importados corretamente;
• Podemos observar que temos muitos dados faltando no conjunto;
• Sobre os valores únicos, podemos citar alguns exemplos, a variável BBLE podemos observar que sua quantidade equivale ao mesmo número de linhas, isso quer dizer que possivelmente é um ID único para os registros. A variável B, podemos ver que tem somente 5 registros, indica que pode ser uma variável categória e assim por diante.

# colunas numéricas (quantitativas)
num_cols = ['LTFRONT', 'LTDEPTH', 'STORIES', 'FULLVAL', 'AVLAND', 'AVTOT', 'EXLAND', 'EXTOT', 'BLDFRONT', 'BLDDEPTH',
            'AVLAND2', 'AVTOT2', 'EXLAND2', 'EXTOT2']

# colunas categóricas
cat_cols = ['BBLE', 'B', 'BLOCK', 'LOT', 'EASEMENT', 'OWNER', 'BLDGCL', 'TAXCLASS', 'EXT', 'EXCD1', 'STADDR', 'ZIP',
            'EXMPTCL', 'EXCD2', 'PERIOD', 'YEAR', 'VALTYPE']

# colocando em dois dataframes
df_num = df[num_cols]
df_cat = df[cat_cols]

Vamos personalizar um sumário estatístico, definindo o que significa cada coluna:

• Tipo de dado: os tipos numéricos float ou int
• Registro não nulos: registros não ausentes
• Registro não zero: algum registro pode conter zero, por exemplo, quantidade de área de lazer, se não possui o valor será zero.
• % populado: qual a porcentagem de registros no conjunto para cada variável numérica
• Valores únicos: quantidade de registros sem repetição
• Média, Desvio padrão, Minimo e Máximo: estatística básica

# criando um sumário estatístico das variáveis numéricas (personalizado)
summ_num = pd.DataFrame(index=df_num.columns)
summ_num['Tipo de dado'] = df_num.dtypes.values
summ_num['Registros não nulos'] = df_num.count().values
summ_num['Registros não zero'] = df_num.astype(bool).sum(axis=0)
summ_num['% populado'] = round(summ_num['Registros não nulos'] / df_num.shape[0]*100, 2)
summ_num['Valores únicos'] = df_num.nunique().values
summ_num['Mean'] = round(df_num.mean(), 2)
summ_num['Std'] = round(df_num.std(), 2)
summ_num['Min'] = round(df_num.min(), 2)
summ_num['Max'] = round(df_num.max(), 2)
summ_num

	Tipo de dado	Registros não nulos	Registros não zero	% populado	Valores únicos	Mean	Std	Min	Max
LTFRONT	int64	1070994	901886	100.00	1297	36.64	74.03	0.00	9999.00
LTDEPTH	int64	1070994	900866	100.00	1370	88.86	76.40	0.00	9999.00
STORIES	float64	1014730	1070994	94.75	111	5.01	8.37	1.00	119.00
FULLVAL	float64	1070994	1057987	100.00	109324	874264.51	11582430.99	0.00	6150000000.00
AVLAND	float64	1070994	1057985	100.00	70921	85067.92	4057260.06	0.00	2668500000.00
AVTOT	float64	1070994	1057987	100.00	112914	227238.17	6877529.31	0.00	4668308947.00
EXLAND	float64	1070994	579295	100.00	33419	36423.89	3981575.79	0.00	2668500000.00
EXTOT	float64	1070994	638422	100.00	64255	91186.98	6508402.82	0.00	4668308947.00
BLDFRONT	int64	1070994	842179	100.00	612	23.04	35.58	0.00	7575.00
BLDDEPTH	int64	1070994	842141	100.00	621	39.92	42.71	0.00	9393.00
AVLAND2	float64	282726	1070994	26.40	58591	246235.72	6178962.56	3.00	2371005000.00
AVTOT2	float64	282732	1070994	26.40	111360	713911.44	11652528.95	3.00	4501180002.00
EXLAND2	float64	87449	1070994	8.17	22195	351235.68	10802212.67	1.00	2371005000.00
EXTOT2	float64	130828	1070994	12.22	48348	656768.28	16072510.17	7.00	4501180002.00

# criando um sumário estatístico das variáveis categóricas (personalizado)
summ_cat = pd.DataFrame(index=df_cat.columns)
summ_cat['Tipo de dado'] = df_cat.dtypes.values
summ_cat['Registros não nulos'] = df_cat.count().values
summ_cat['% populado'] = round(summ_cat['Registros não nulos'] / df_cat.shape[0] * 100, 2)
summ_cat['Valores únicos'] = df_cat.nunique().values

Para variáveis categóricas irei inserir mais uma coluna que são os valores mais comuns, isso ajuda a entender o padrão para este tipo de variáveis.

# adiciona mais uma coluna com valores mais comuns
temp = []

for col in df_cat.columns:
    temp.append(df_cat[col].value_counts().idxmax())
summ_cat['Valores mais comuns'] = temp

summ_cat

	Tipo de dado	Registros não nulos	% populado	Valores únicos	Valores mais comuns
BBLE	object	1070994	100.00	1070994	4130570026
B	int64	1070994	100.00	5	4
BLOCK	int64	1070994	100.00	13984	3944
LOT	int64	1070994	100.00	6366	1
EASEMENT	object	4636	0.43	12	E
OWNER	object	1039249	97.04	863346	PARKCHESTER PRESERVAT
BLDGCL	object	1070994	100.00	200	R4
TAXCLASS	object	1070994	100.00	11	1
EXT	object	354305	33.08	3	G
EXCD1	float64	638488	59.62	129	1017.0
STADDR	object	1070318	99.94	839280	501 SURF AVENUE
ZIP	float64	1041104	97.21	196	10314.0
EXMPTCL	object	15579	1.45	14	X1
EXCD2	float64	92948	8.68	60	1017.0
PERIOD	object	1070994	100.00	1	FINAL
YEAR	object	1070994	100.00	1	2010/11
VALTYPE	object	1070994	100.00	1	AC-TR

Análise:

Com base nesse resumo, uma das formas de se analisar, por exemplo, a variável B tem 5 valores únicos e provavelmente seja do tipo categórico, sendo que o valor que aparece mais vezes é o 4. Então poderíamos levar essas conclusões para a área de negócio e perguntar se nossas conclusões estão corretas, caso a gente não conheça ou não tem certeza.

Principalmente, nos confirmar se esse comportamento nos dados é normal, é esperado que ocorra dessa forma.

Análise Exploratória dos dados

Objetivo: Identificar, conhecer, explorar, compreender, visualizar, afim de verificar se os dados estão corretos de acordo com as regras do Negócio, analisar se há algo de errado ou alguma anomalia no conjunto.

Com base na análise das descrições do dicionário de dados, identificamos 16 variáveis que faça sentido para nosso objetivo. Algumas delas são variações de outras, então não faz sentido analisar essas variações, exceto se a variação for significativa, o conhecimento ou a área de negócios pode ajudar a selecionar essas variáveis.

# checando as colunas
print(df.columns,'\n')
print(f'Total de colunas: {len(df.columns)}')

Index(['BBLE', 'B', 'BLOCK', 'LOT', 'EASEMENT', 'OWNER', 'BLDGCL', 'TAXCLASS',
       'LTFRONT', 'LTDEPTH', 'EXT', 'STORIES', 'FULLVAL', 'AVLAND', 'AVTOT',
       'EXLAND', 'EXTOT', 'EXCD1', 'STADDR', 'ZIP', 'EXMPTCL', 'BLDFRONT',
       'BLDDEPTH', 'AVLAND2', 'AVTOT2', 'EXLAND2', 'EXTOT2', 'EXCD2', 'PERIOD',
       'YEAR', 'VALTYPE'],
      dtype='object') 

Total de colunas: 31

Variável 1:

Nome: BBLE
Descrição: Concatenação de código Borough, código de bloco, código LOT; um número exclusivo para cada registro, tipo ID.

Variável 2:

Nome: B
Descrição: Códigos Borough, código de um bairro no qual o imóvel está localizado.

# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
ordem = df_cat.B.value_counts().index
sns.countplot(x='B', data=df_cat, order=ordem)

# inserindo o título
plt.title("Número de propriedades em diferentes bairros", fontweight='bold', fontsize=16);

Análise:

Como já tínhamos observado em nosso resumo, a categoria 4 é o que mais tem registros, pelo dicionário de dados, é o bairro "QUEENS".

Variável 3:

Nome: BLOCK
Descrição: Número de até 5 dígitos que representam códigos de bloco em diferentes bairros.

# estruturando para visualizar os valores únicos e seus respectivos totais
BLOCK = df_cat['BLOCK'].value_counts().rename_axis('Unique_values_BLOCK').reset_index(name='Counts')

# visualizando os 20 primeiros registros
BLOCK[:20]

	Unique_values_BLOCK	Counts
0	3944	3888
1	16	3786
2	3943	3424
3	3938	2794
4	1171	2535
5	3937	2275
6	1833	1774
7	2450	1651
8	1047	1480
9	7279	1302
10	5893	1295
11	8720	1281
12	936	1151
13	1115	1090
14	1320	1049
15	1140	1017
16	1011	991
17	943	946
18	1116	881
19	1515	869

Variável 4:

Nome: LOT
Descrição: Número de até 4 dígitos que representam códigos de lote em diferentes códigos Borough & Block

# estruturando para visualizar os valores únicos e seus respectivos totais
LOT = df_cat['LOT'].value_counts().rename_axis('Unique_values_LOT').reset_index(name='Counts')

# visualizando os 20 primeiros registros
LOT[:20]

	Unique_values_LOT	Counts
0	1	24367
1	20	12294
2	15	12171
3	12	12143
4	14	12074
5	16	12042
6	17	11982
7	18	11979
8	25	11949
9	21	11840
10	23	11705
11	22	11665
12	6	11646
13	19	11640
14	30	11596
15	24	11591
16	26	11584
17	28	11369
18	29	11357
19	7	11340

Variável 5:

Nome: EASEMENT
Descrição: Tipos de easement, é quando em uma propriedade há uma parte que não possa ser construída, pode ser reservada do governo, passando uma tubulação, por exemplos.

# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
ordem = df_cat.EASEMENT.value_counts().index
# sns.countplot(x='EASEMENT', data=df_cat, order=ordem)
sns.countplot(x='EASEMENT', data=df_cat, order=ordem).set_yscale('log')

# inserindo o título
plt.title("Quantidade de imóveis com diversos tipos de Easement", fontweight='bold', fontsize=16);

Análise:

O tipo E estamos confirmando que é o que tem mais registros, tivemos que fazer a transformação logaritma na escala do eixo y, para melhor visualizar, pois a diferença do E para os demais é muito grande.

Variável 6:

Nome: OWNER
Descrição: Proprietários dos imóveis

# estruturando para visualizar os valores únicos e seus respectivos totais
OWNER = df_cat['OWNER'].value_counts().rename_axis('Unique_values_OWNER').reset_index(name='Counts')

# visualizando as primeiras linhas
OWNER.head()

	Unique_values_OWNER	Counts
0	PARKCHESTER PRESERVAT	6020
1	PARKS AND RECREATION	4255
2	DCAS	2169
3	HOUSING PRESERVATION	1904
4	CITY OF NEW YORK	1450

# visualizando as últimas linhas
OWNER.tail()

	Unique_values_OWNER	Counts
863341	TIO, RUY C	1
863342	GRANT, RUTH	1
863343	MOUSA KHALLOUF	1
863344	PHILLIPS, TRUSTEE, AN	1
863345	GEORGIOU MARIO	1

Análise:

Essa variável pode ser uma das mais importantes para a análise, observamos que o maior proprietário de imóveis na cidade de Nova York é o PARKCHESTER PRESERVAT e até faz sentido por ser uma imobiliária que aluga residências. Mas essa é quantidade é normal? A área de negócios deverá saber responder isso ou descobrimos através de pesquisas.

Os últimos registros são de pessoas físicas que é normal ter somente uma propriedade, no geral.

Variável 7:

Nome: BLDGCL
Descrição: Classe do imóvel

# estruturando para visualizar os valores únicos e seus respectivos totais
BLDGCL = df_cat['BLDGCL'].value_counts().rename_axis('Unique_values_BLDGCL').reset_index(name='Counts')

# visualizando as primeiras linhas
BLDGCL.head()

	Unique_values_BLDGCL	Counts
0	R4	139879
1	A1	123369
2	A5	96984
3	B1	84208
4	B2	77598

# visualizando as primeiras linhas
BLDGCL.tail()

	Unique_values_BLDGCL	Counts
195	I3	4
196	I2	4
197	H7	3
198	Y5	1
199	E6	1

Análise:

Vale a mesma análise que da anterior, a quantidade de registros para cada classe de imóvel.

Variável 8:

Nome: TAXCLASS
Descrição: Código de classe de imposto de propriedade, próximo ao IPTU no Brasil.

# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
ordem = df_cat.TAXCLASS.value_counts().index
sns.countplot(x='TAXCLASS', data=df_cat, order=ordem)
# sns.countplot(x='TAXCLASS', data=df_cat, order=ordem).set_yscale('log')

# inserindo o título
plt.title("Quantidade de imóveis com diversos tipos de TaxClass", fontweight='bold', fontsize=16);

Análise:

Checando nosso dicionário de dados, a classe 1 é do tipo são para quem possui de 1 à 3 residências. Enquanto que a última, menos frequente são bangalôs, faz sentido essa análise? Aparentemente sim.

E se a classe 1D não aparecesse em último e sim próximo dos mais frequentes, de cara já saberíamos que tem algo errado.

Variável 9:

Nome: LTFRONT
Descrição: Frente do lote em pés (feet).

A abordagem aqui será um pouco diferente, como o volume de dados é muito grande, vamos separar em percentis e definir um valor de corte para análise, mas antes vamos postar um histograma só para conhecermos sua distribuição.

# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
sns.distplot(np.log1p(df['LTFRONT']))

# inserindo o título
plt.title("Distribuição de LTFRONT", fontweight='bold', fontsize=16);

# dividindo em percentis
df['LTFRONT'].describe(percentiles = [0.25, 0.5, 0.75, 0.995])

count   1070994.00
mean         36.64
std          74.03
min           0.00
25%          19.00
50%          25.00
75%          40.00
99.5%       375.00
max        9999.00
Name: LTFRONT, dtype: float64

# filtra valores menores ou iguais que 375
tmp = df[df['LTFRONT'] <= 375]

# Visualizando sua distribuição
# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
sns.distplot(tmp['LTFRONT'])

# inserindo o título
plt.title("Distribuição de LTFRONT", fontweight='bold', fontsize=16);

Análise:

Podemos observar no primeiro gráfico que tivemos de normalizar utilizando um logaritmo do numpy, porque com os dados originais observamos uma calda muito grande, não possibilitando de analisar algo no gráfico.

A abordagem foi analisar pelos percentis, no qual podemos olhar o valor com 99,5% dos dados, com isso nos possibilita de executar um filtro, removendo esses valores muito extremos.

Então plotamos novamente a distribuição, com dados originais, e mesmo assim podemos ver ainda alguns outliers.

Mas a principal análise é que a frente dos lotes vai até aproximadamente 50 pés de tamanho. Será que isso corresponde ao padrões americanos? Aparentemente sim.

Variável 10:

Nome: LTDEPTH
Descrição: Profundidade do lote em pés.

Vamos seguir com a mesma estratégia que a anterior, filtrar e analisar pelos percentis.

# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
sns.distplot(np.log1p(df['LTDEPTH']))

# inserindo o título
plt.title("Distribuição de LTDEPTH", fontweight='bold', fontsize=16);

# dividindo em percentis
df['LTDEPTH'].describe(percentiles = [0.25, 0.5, 0.75, 0.995, 0.9995])

count    1070994.00
mean          88.86
std           76.40
min            0.00
25%           80.00
50%          100.00
75%          100.00
99.5%        425.00
99.95%      1056.50
max         9999.00
Name: LTDEPTH, dtype: float64

# filtra valores menores ou iguais que 425 (99.5%)
tmp = df[df['LTDEPTH'] <= 425]

# Visualizando sua distribuição
# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
sns.distplot(tmp['LTDEPTH']).set_yscale('log')

# inserindo o título
plt.title("Distribuição de LTDEPTH", fontweight='bold', fontsize=16);

Análise:

Novamente podemos observar que a concentração é nos lotes menores, pela nossa pesquisa faz sentido porque as casas em Nova York são aparentemente aglomeradas, então se houvesse maior concentração em lotes maiores, poderiamos desconfiar de alguma coisa, ou seja, este é o padrão esperado para esta variável.

Podemos observar (como em alguns outros gráficos) que o eixo y está em escala logaritmica, porque a distribuição em função dos valores extremos fica ruim de visualizar, e ao invés de colocarmos a variável nessa escala, colocamos somente o eixo y, podendo assim no eixo x, visualizar valores originais.

Variável 11:

Nome: EXT
Descrição: E-Extension, G-Garage, EG-Extension e Garage.

# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
ordem = df_cat.EXT.value_counts().index
sns.countplot(x='EXT', data=df_cat, order=ordem)

# inserindo o título
plt.title("Número de propriedades com vários tipos de Extensões / Garagem", fontweight='bold', fontsize=14);

Análise:

A maior frequencia são de imóveis com garagem, isso é razoável, porque a grande maioria dos imóveis possuem somente garagem.

Variável 12:

Nome: STORIES
Descrição: Números de andares do edifício

# dividindo em percentis
df['STORIES'].describe(percentiles = [0.5, 0.75, 0.995])

count   1014730.00
mean          5.01
std           8.37
min           1.00
50%           2.00
75%           3.00
99.5%        50.00
max         119.00
Name: STORIES, dtype: float64

# filtra valores menores ou iguais que 50 (99.5%)
tmp = df[df['STORIES'] <= 50]

# Visualizando sua distribuição
# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
sns.distplot(tmp['STORIES'], bins=50, kde=False).set_yscale('log', basey=2)

# inserindo o título
plt.title("Distribuição de Andares das Propriedades", fontweight='bold', fontsize=16);

Análise:

Quantos andares, normalmente, tem os prédios na cidade? Neste caso é esperado prédios de até 50 andares, por isso fizemos o filtro, podendo filtrar quantos andares forem necessários, com base na sua pesquisa, cidade e conhecimento do negócio.

O comportamento da distribuição é esperado, quanto mais andares, menor a frequencia.

Variável 13:

Nome: FULLVAL
Descrição: Valor de Mercado Total

Esta variável é o que se aproxima do IPTU no Brasil, ela contém o valor do terreno e do imóvel juntos, por isso é o valor total. Vamos fazer o filtro com US$ 3M, pois espera-se que as casas tenham seus valores menores que o nosso valor de filtro.

# dividindo em percentis
df['FULLVAL'].describe(percentiles = [0.50, 0.75, 0.95, 0.995])

count      1070994.00
mean        874264.51
std       11582430.99
min              0.00
50%         447000.00
75%         619000.00
95%        1530000.00
99.5%     14000000.00
max     6150000000.00
Name: FULLVAL, dtype: float64

# visualizando os primeiros dados
df['FULLVAL'].head()

RECORD
1    21400000.00
2   193800000.00
3   104686000.00
4    39200000.00
5   272300000.00
Name: FULLVAL, dtype: float64

# filtra valores menores ou iguais que 3000000
tmp = df[df['FULLVAL'] <= 3000000]

# Visualizando sua distribuição
# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
sns.distplot(tmp['FULLVAL'], bins=70, kde=False)

# inserindo o título
plt.title("Distribuição do Valor de Mercado Total das Propriedades", fontweight='bold', fontsize=16);

Análise:

Conforme esperado, a maioria das cadas tem valores mais baixos.

Variável 14:

Nome: AVLAND
Descrição: Valor de mercado do terreno

Esta variável corresponde somente ao valor do terreno.

# dividindo em percentis
df['AVLAND'].describe(percentiles = [0.5, 0.75, 0.95])

count      1070994.00
mean         85067.92
std        4057260.06
min              0.00
50%          13678.00
75%          19740.00
95%         131388.75
max     2668500000.00
Name: AVLAND, dtype: float64

# filtra valores menores ou iguais que 50000 (99.5%)
tmp = df[df['AVLAND'] <= 50000]

# Visualizando sua distribuição
# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
sns.distplot(tmp['AVLAND'], bins=80, kde=False)

# inserindo o título
plt.title("Distribuição do Valor de Mercado do terreno das Propriedades", fontweight='bold', fontsize=16);

Análise:

Podemos notar um comportamento esperado também, com a concentração de frequencia maior nos valores menores dos terrenos.

Variável 15:

Nome: EXLAND
Descrição: Valor provisório do terreno com isenção temporária

Corresponde às propriedades que tem isenção de impostos.

# dividindo em percentis
df['EXLAND'].describe(percentiles = [0.5, 0.75, 0.95])

count      1070994.00
mean         36423.89
std        3981575.79
min              0.00
50%           1620.00
75%           1620.00
95%          14489.00
max     2668500000.00
Name: EXLAND, dtype: float64

# filtra valores menores ou iguais que 50 (99.5%)
tmp = df[df['EXLAND'] <= 20000]

# Visualizando sua distribuição
# definindo a área de plotagem
plt.figure(figsize=(10,5))

# definindo o plot
sns.distplot(tmp['EXLAND'], bins=100, kde=False).set_yscale('log', basey=2)

# inserindo o título
plt.title("Valor Provisório do terreno com isenção temporária", fontweight='bold', fontsize=16);

Análise:

Este tipo de variável é uma que possivelmente pode haver tentativas de fraudes, pois empresas de um determinado ramos, declara ser de outro para ter isenção.

Neste caso, não há necessáriamente uma concentração bem maior, no início tem um pouco mais com alguns picos, mas é comportamento normal.

Variável 16:

Nome: ZIP
Descrição: Código Postal

# estruturando para visualizar os valores únicos e seus respectivos totais
ZIP = df_cat['ZIP'].value_counts().rename_axis('Unique_values_ZIP').reset_index(name='Counts')

# visualizando as primeiras linhas
ZIP.head()

	Unique_values_ZIP	Counts
0	10314.00	24606
1	11234.00	20001
2	10312.00	18127
3	10462.00	16905
4	10306.00	16578

# visualizando as últimas linhas
ZIP.tail()

	Unique_values_ZIP	Counts
191	11241.00	1
192	11005.00	1
193	11359.00	1
194	11371.00	1
195	11352.00	1

Análise:

Nos primeiros registros são os locais com maior concentração de cadas, pode ser um centro, um bairro maior na cidade enquanto que nas últimas com menor concentração de casas pode ser de subúrbio, por exemplo, ou próximo à saída da cidade.

3. Conclusão

A partir dos valores, resumos e gráficos, a área de negócios precisa certificar se essas informações que nós coletamos estão corretas, suas quantidades e variáveis.

Se necessário faça pesquisas, conheça sobre as variáveis, o que está analisando, consulte um especialista ou o próprio google.

A certificação dessas informações vai definir todo o sucesso do projeto, pois estamos atestando a qualidade dos dados e essa é a etapa no qual gastamos mais tempo.

Outro ponto a considerar é que nem sempre na análise exploratória você vai ver algum ponto explicito, e se não houver, não significa que não tem anomalia, de uma forma geral vamos detectar o que tiver de certa forma um pouco mais "gritante".

Outro nome a ser dado à esta etapa é DQR ou Data Quality Report, conclua com uma apresentação e valide com a área de negócio, caso não tenha domínio.

Até esse momento, selecionamos (junto com o time de negócios) as variáveis mais pertinentes para o projeto em questão e analisamos cada uma dessas variáveis de forma univariada, se houver necessidade e tempo é importante fazer uma análise bivariada ou multivariada.

Pois analisar alguns comportamentos de duas ou mais variéveis em conjunto pode trazer vários insights para seguimento do projeto.

Clique para Parte 2 - Transformação e Feature Engineering