Python深度学习（新闻分类：多分类问题）

Python深度学习（新闻分类：多分类问题）

3.5 新闻分类：多分类问题

• 本节会构建一个网络，将路透社新闻划分为46个互斥的主题。因为有多个类别，所以这是多分类（multiclass classification）问题的一个例子。因为每个数据点只能划分到一个类别，所以更具体地说，这是单标签、多分类（single-label, multiclass classification）问题的一个例子。如果每个数据点可以划分到多个类别（主题），那它就是一个多标签、多分类（multilabel, multiclass classification）问题。

3.5.1 路透社数据集

• 本节使用路透社数据集，它包含许多短新闻及其对应的主题，由路透社在1986年发布。它是一个简单的、广泛使用的文本分类数据集。它包括46个不同的主题：某些主题的样本更多，但训练集中每个主题都有至少10个样本。

# 加载路透社数据集
from keras.datasets import reuters(train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)

• 与IMDB数据集一样，参数num_words=10000将数据限定为前10000个最常出现的单词。我们有8982个训练样本和2246个测试样本。
• 与IMDB评论一样，每个样本都是一个整数列表（表示单词索引）

# 将索引解码为新闻文本
word_index = _word_index()
reverse_word_index = dict([(value, key) for key, value in word_index.items()])
decoded_newswire = ' '.join([reverse_(i-3,'?') for i in train_data[0]]) # 注意，索引减去了3，因为0、1、2是为"padding"（填充）、"start of sequence"（序列开始）、"unknown"（未知词）分别保留的索引。

3.5.2 准备数据

# 编码数据
import numpy as npdef vectorize_sequence(sequence, dimension=10000):results = np.zeros((len(sequence), dimension))for i, sequence in enumerate(sequence):results[i, sequence] = 1.return resultsx_train = vectorize_sequence(train_data) # 将训练数据向量化
x_test = vectorize_sequence(test_data) # 将测试数据向量化

• 将标签向量化有两种方法：你可以将标签列表转换为整数张量，或者使用one-hot编码。one-hot编码是分类数据广泛使用的一种格式，也叫分类编码（categorical encoding）。标签的one-hot编码就是将每个标签表示为全零向量，只有标签索引对应的元素为1。

# 标签向量化
def to_one_hot(labels, dimension=46):results = np.zeros