二手车交易价格预测task1

二手车交易价格预测task1

赛题概况

赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。

本赛题的评价标准为MAE(Mean Absolute Error)😗*

M A E = ∑ i = 1 n ∣ y i − y ^ i ∣ n MAE=frac{sum_{i=1}^{n}left|y_{i}-hat{y}_{i}right|}{n} MAE=n∑i=1n​∣yi​−y^​i​∣​
其中 y i y_{i} yi​代表第 i i i个样本的真实值，其中 y ^ i hat{y}_{i} y^​i​代表第 i i i个样本的预测值。

代码示例

## 基础工具
import numpy as np
import pandas as pd
import warnings
import matplotlib
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.special import jn
from IPython.display import display, clear_output
import time
import csv
warnings.filterwarnings('ignore')
%matplotlib inline## 模型预测的
from sklearn import linear_model
from sklearn import preprocessing
from sklearn.svm import SVR
semble import RandomForestRegressor,GradientBoostingRegressor## 数据降维处理的
from sklearn.decomposition import PCA,FastICA,FactorAnalysis,SparsePCAimport lightgbm as lgb
import xgboost as xgb## 参数搜索和评价的
del_selection import GridSearchCV,cross_val_score,StratifiedKFold,train_test_split
ics import mean_squared_error, mean_absolute_error

def read_file(path,count=None):'''定义读取文件的函数path: 文件路径count: 读取行数'''# 1
#     list = []
#     with open(path,"r",encoding='UTF-8') as f: #以只读的方式打开文件
#         read_scv&#ader(f) #调用csv的reader方法读取文件并赋值给read_scv变量
#         for i,line in enumerate(read_scv):
#             if i == count:
#                 break
#             list.append(line) #将读取到的数据追加到list列表里面
#     list = pd.DataFrame(list)
#     lumns=['id','heartbeat_signals','label']
#     return list[1:] #返回列表数据# ad_csv(path,sep=' ',nrows = count)

Train_data = read_file('used_car_train_20200313.csv')
TestA_data = read_file('used_car_testA_20200313.csv')

数据字段

• SaleID 交易ID，唯一编码
• name 汽车交易名称，已脱敏
• regDate 汽车注册日期，例如20160101，2016年01月01日
• model 车型编码，已脱敏
• brand 汽车品牌，已脱敏
• bodyType 车身类型：豪华轿车：0，微型车：1，厢型车：2，大巴车：3，敞篷车：4，双门汽车：5，商务车：6，搅拌车：7
• fuelType 燃油类型：汽油：0，柴油：1，液化石油气：2，天然气：3，混合动力：4，其他：5，电动：6
• gearbox 变速箱：手动：0，自动：1
• power 发动机功率：范围 [ 0, 600 ]
• kilometer 汽车已行驶公里，单位万km
• notRepairedDamage 汽车有尚未修复的损坏：是：0，否：1
• regionCode 地区编码，已脱敏
• seller 销售方：个体：0，非个体：1
• offerType 报价类型：提供：0，请求：1
• creatDate 汽车上线时间，即开始售卖时间
• price 二手车交易价格（预测目标）
• v_0’, ‘v_1’, ‘v_2’, ‘v_3’, ‘v_4’, ‘v_5’, ‘v_6’, ‘v_7’, ‘v_8’, ‘v_9’, ‘v_10’, ‘v_11’, ‘v_12’, ‘v_13’,‘v_14’（根据汽车的评论、标签等大量信息得到的embedding向量）匿名特征，包含v0-14在内15个匿名特征

数据观察

# 数据纵览
Train_data.head().append(Train_data.tail())
# TestA_data.head().append(TestA_data.tail())

10 rows × 31 columns

#数据行列信息
print('Train data shape:',Train_data.shape)
print('Test data shape:',TestA_data.shape)

Train data shape: (150000, 31)
Test data shape: (50000, 30)

# 数据信息查看
# 通过info来了解数据每列的type
# Train_data.info()
TestA_data.info()

<class &#frame.DataFrame'>
RangeIndex: 50000 entries, 0 to 49999
Data columns (total 30 columns):#   Column             Non-Null Count  Dtype  
---  ------             --------------  -----  0   SaleID             50000 non-null  int64  1   name               50000 non-null  int64  2   regDate            50000 non-null  int64  3   model              50000 non-null  float644   brand              50000 non-null  int64  5   bodyType           48587 non-null  float646   fuelType           47107 non-null  float647   gearbox            48090 non-null  float648   power              50000 non-null  int64  9   kilometer          50000 non-null  float6410  notRepairedDamage  50000 non-null  object 11  regionCode         50000 non-null  int64  12  seller             50000 non-null  int64  13  offerType          50000 non-null  int64  14  creatDate          50000 non-null  int64  15  v_0                50000 non-null  float6416  v_1                50000 non-null  float6417  v_2                50000 non-null  float6418  v_3                50000 non-null  float6419  v_4                50000 non-null  float6420  v_5                50000 non-null  float6421  v_6                50000 non-null  float6422  v_7                50000 non-null  float6423  v_8                50000 non-null  float6424  v_9                50000 non-null  float6425  v_10               50000 non-null  float6426  v_11               50000 non-null  float6427  v_12               50000 non-null  float6428  v_13               50000 non-null  float6429  v_14               50000 non-null  float64
dtypes: float64(20), int64(9), object(1)
memory usage: 11.4+ MB

# 通过 .columns 查看列名
# lumns
lumns

Index(['SaleID', 'name', 'regDate', 'model', 'brand', 'bodyType', 'fuelType','gearbox', 'power', 'kilometer', 'notRepairedDamage', 'regionCode','seller', 'offerType', 'creatDate', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4','v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14'],dtype='object')

# 通过 .describe() 可以查看数值特征列的一些统计信息
# 个数count、平均值mean、方差std、最小值min、中位数25% 50% 75% 、以及最大值
# Train_data.describe()
TestA_data.describe()

8 rows × 29 columns