深度神经网络（DNN）模型构建与训练

介绍

深度神经网络（DNN）是深度学习的核心，用于解决复杂任务如图像识别和自然语言处理。TensorFlow 提供了灵活的 API 来构建和训练 DNN 模型。本章将介绍两种主要模型构建方式：序贯模型和函数式模型，并探讨隐藏层设计以及正则化技巧。

序贯模型构建 DNN（简单场景）

序贯模型是 TensorFlow 中最简单的模型构建方式，适用于线性堆叠层的情况。它按顺序添加层，适合初学者快速上手。

步骤

1. 导入 TensorFlow 库。
2. 创建 tf.keras.Sequential 对象。
3. 添加层，例如全连接层（Dense）、激活函数层等。
4. 编译模型，指定优化器、损失函数和评估指标。
5. 训练模型。

示例代码

import tensorflow as tf

# 创建序贯模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(128, activation='relu', input_shape=(784,)),  # 输入层，假设输入为 784 维
    tf.keras.layers.Dense(64, activation='relu'),  # 隐藏层
    tf.keras.layers.Dense(10, activation='softmax')  # 输出层，用于分类
])

# 编译模型
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 假设 X_train, y_train 是训练数据
model.fit(X_train, y_train, epochs=10, batch_size=32)

函数式模型构建 DNN（多输入 / 隐藏层共享）

函数式模型提供更高的灵活性，允许构建复杂模型，如多输入或多输出网络，以及共享隐藏层。

什么是函数式模型

函数式模型使用 tf.keras.Model 类，通过定义层的连接关系来构建模型。这对于非顺序结构非常有用。

多输入示例

假设你有两个输入特征，例如文本和图像数据，可以如下构建模型：

import tensorflow as tf

# 定义输入层
input_text = tf.keras.Input(shape=(100,))  # 文本输入，100 维
input_image = tf.keras.Input(shape=(28, 28, 1))  # 图像输入，灰度图

# 处理文本输入
x_text = tf.keras.layers.Dense(64, activation='relu')(input_text)

# 处理图像输入（使用卷积层）
x_image = tf.keras.layers.Conv2D(32, (3, 3), activation='relu')(input_image)
x_image = tf.keras.layers.Flatten()(x_image)
x_image = tf.keras.layers.Dense(64, activation='relu')(x_image)

# 合并两个分支
merged = tf.keras.layers.concatenate([x_text, x_image])

# 添加更多层
x = tf.keras.layers.Dense(128, activation='relu')(merged)
output = tf.keras.layers.Dense(10, activation='softmax')(x)

# 创建模型
model = tf.keras.Model(inputs=[input_text, input_image], outputs=output)

# 编译和训练
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
# 注意：训练时需要提供两个输入数据

隐藏层共享示例

共享隐藏层可以节省参数，提高模型效率。例如，两个输入共享同一个隐藏层：

import tensorflow as tf

# 定义共享层
shared_dense = tf.keras.layers.Dense(64, activation='relu')

# 输入层
input1 = tf.keras.Input(shape=(100,))
input2 = tf.keras.Input(shape=(100,))

# 应用共享层
x1 = shared_dense(input1)
x2 = shared_dense(input2)

# 合并或其他操作
merged = tf.keras.layers.concatenate([x1, x2])
output = tf.keras.layers.Dense(10, activation='softmax')(merged)

model = tf.keras.Model(inputs=[input1, input2], outputs=output)

隐藏层设计

隐藏层是 DNN 的核心，设计好坏直接影响模型性能。主要包括层数、神经元数量和激活函数选择。

层数选择

• 浅层网络（如 1-3 层）：适合简单任务，训练速度快，但表达能力有限。
• 深层网络（如 5 层以上）：适合复杂任务，能学习高级特征，但可能增加过拟合风险。
• 建议从浅层开始，逐步增加层数以优化性能。

神经元数量

• 神经元越多，模型越复杂，但可能过拟合。
• 常见做法：逐层减少神经元数（如 128 -> 64 -> 32），或使用启发式公式，如输入维度的平方根。
• 实验调参是关键：通过交叉验证选择合适数量。

激活函数选择

激活函数引入非线性，使模型能学习复杂模式。

• ReLU（Rectified Linear Unit）：最常用，计算快，缓解梯度消失问题。示例：activation='relu'。
• Sigmoid：用于输出层二分类，输出值在 0-1 之间。
• Softmax：用于多分类输出层，将输出转换为概率分布。
• Tanh：类似 Sigmoid，但输出范围在 -1 到 1 之间。

正则化与丢弃法（Dropout）

正则化用于防止过拟合，Dropout 是常用方法之一。

过拟合问题

当模型在训练数据上表现太好，但在新数据上泛化能力差时，称为过拟合。常见于复杂模型。

Dropout 原理

Dropout 在训练期间随机“丢弃”一部分神经元（设置为零），以减少神经元间的共适应性，从而增强模型鲁棒性。在测试时，所有神经元都激活。

TensorFlow 中实现 Dropout

在模型中添加 tf.keras.layers.Dropout 层。

示例代码：

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(128, activation='relu', input_shape=(784,)),
    tf.keras.layers.Dropout(0.5),  # 丢弃 50% 的神经元
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dropout(0.3),  # 丢弃 30% 的神经元
    tf.keras.layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train, epochs=10, batch_size=32)

• Dropout 率通常设置在 0.2 到 0.5 之间，根据任务调整。
• 注意：Dropout 只在训练时有效，测试时自动关闭。

总结

本章介绍了 TensorFlow 中 DNN 模型构建与训练的基础知识。通过序贯模型构建简单网络，函数式模型处理复杂结构，合理设计隐藏层参数，并利用 Dropout 正则化防止过拟合。实践是学习的关键，建议多尝试不同配置以优化模型。

后续学习建议

• 探索其他正则化方法，如 L1/L2 正则化。
• 学习模型评估和调优技巧。
• 参考 TensorFlow 官方文档获取更多高级功能。