tf.estimator Quickstart
来源:互联网 发布:vue.js html模板 编辑:程序博客网 时间:2024/05/18 17:23
tf.estimator快速入门
TensorFlow的高级机器学习API(tf.estimator)可以轻松配置,训练和评估各种机器学习模型。 在本教程中,您将使用tf.estimator构建一个神经网络分类器,并在Iris数据集上对其进行训练,以根据萼片/花瓣几何学来预测花朵种类。 您将编写代码来执行以下五个步骤:1.将包含鸢尾训练/测试数据的CSV加载到TensorFlow数据集中
2.构建一个神经网络分类器
3.使用训练数据训练模型
4.评估模型的准确性
5.分类新样品
注意:在开始本教程之前,请记住在您的机器上安装TensorFlow。
一、完整的神经网络源代码
以下是神经网络分类器的完整代码:
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import os
from six.moves.urllib.request import urlopen
import numpy as np
import tensorflow as tf
# Data sets
IRIS_TRAINING = "iris_training.csv"
IRIS_TRAINING_URL = "http://download.tensorflow.org/data/iris_training.csv"
IRIS_TEST = "iris_test.csv"
IRIS_TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"
def main():
# If the training and test sets aren't stored locally, download them.
if not os.path.exists(IRIS_TRAINING):
raw = urlopen(IRIS_TRAINING_URL).read()
with open(IRIS_TRAINING, "wb") as f:
f.write(raw)
if not os.path.exists(IRIS_TEST):
raw = urlopen(IRIS_TEST_URL).read()
with open(IRIS_TEST, "wb") as f:
f.write(raw)
# Load datasets.
training_set = tf.contrib.learn.datasets.base.load_csv_with_header(
filename=IRIS_TRAINING,
target_dtype=np.int,
features_dtype=np.float32)
test_set = tf.contrib.learn.datasets.base.load_csv_with_header(
filename=IRIS_TEST,
target_dtype=np.int,
features_dtype=np.float32)
# Specify that all features have real-value data
feature_columns = [tf.feature_column.numeric_column("x", shape=[4])]
# Build 3 layer DNN with 10, 20, 10 units respectively.
classifier = tf.estimator.DNNClassifier(feature_columns=feature_columns,
hidden_units=[10, 20, 10],
n_classes=3,
model_dir="/tmp/iris_model")
# Define the training inputs
train_input_fn = tf.estimator.inputs.numpy_input_fn(
x={"x": np.array(training_set.data)},
y=np.array(training_set.target),
num_epochs=None,
shuffle=True)
# Train model.
classifier.train(input_fn=train_input_fn, steps=2000)
# Define the test inputs
test_input_fn = tf.estimator.inputs.numpy_input_fn(
x={"x": np.array(test_set.data)},
y=np.array(test_set.target),
num_epochs=1,
shuffle=False)
# Evaluate accuracy.
accuracy_score = classifier.evaluate(input_fn=test_input_fn)["accuracy"]
print("\nTest Accuracy: {0:f}\n".format(accuracy_score))
# Classify two new flower samples.
new_samples = np.array(
[[6.4, 3.2, 4.5, 1.5],
[5.8, 3.1, 5.0, 1.7]], dtype=np.float32)
predict_input_fn = tf.estimator.inputs.numpy_input_fn(
x={"x": new_samples},
num_epochs=1,
shuffle=False)
predictions = list(classifier.predict(input_fn=predict_input_fn))
predicted_classes = [p["classes"] for p in predictions]
print(
"New Samples, Class Predictions: {}\n"
.format(predicted_classes))
if __name__ == "__main__":
main()
以下部分详细介绍了代码。
鸢尾数据集包含150行数据,包括来自三个相关鸢尾属物种中的每一个的50个样品:Iris setosa,Iris virginica和Iris versicolor。
从左到右,Iris setosa(由Radomil,CC BY-SA 3.0),鸢尾花(Dlanglois,CC BY-SA 3.0)和Iris virginica(by Frank Mayfield,CC BY-SA 2.0)。
每行包含每个花样的以下数据:萼片长度,萼片宽度,花瓣长度,花瓣宽度和花种。 花种以整数表示,其中0表示鸢尾花,1表示鸢尾花,2表示鸢尾花。
Sepal LengthSepal WidthPetal LengthPetal WidthSpecies5.13.51.40.204.93.01.40.204.73.21.30.20……………7.03.24.71.416.43.24.51.516.93.14.91.51……………6.53.05.22.026.23.45.42.325.93.05.11.82 对于本教程,鸢尾数据已被随机分成两个独立的CSV:(1)120个样本的训练集(iris_training.csv)
(2)30个样本的测试集(iris_test.csv)。
要开始,首先导入所有必要的模块,并定义下载和存储数据集的位置:
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import os
from six.moves.urllib.request import urlopen
import tensorflow as tf
import numpy as np
IRIS_TRAINING = "iris_training.csv"
IRIS_TRAINING_URL = "http://download.tensorflow.org/data/iris_training.csv"
IRIS_TEST = "iris_test.csv"
IRIS_TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"
接下来,使用learn.datasets.base中的load_csv_with_header()方法将训练集和测试集加载到数据集中。 load_csv_with_header()方法需要三个必需的参数:
(1)filename,它将文件路径转换为CSV文件
(2)target_dtype,它采用数据集的目标值的numpy数据类型。
(3)features_dtype,它采用数据集特征值的numpy数据类型。
在这里,目标(你正在训练模型来预测的值)是花的种类,它是一个从0到2的整数,所以适当的numpy数据类型是np.int:
# Load datasets.
training_set = tf.contrib.learn.datasets.base.load_csv_with_header(
filename=IRIS_TRAINING,
target_dtype=np.int,
features_dtype=np.float32)
test_set = tf.contrib.learn.datasets.base.load_csv_with_header(
filename=IRIS_TEST,
target_dtype=np.int,
features_dtype=np.float32)
tf.contrib.learn中的Datasets被命名为元组;您可以通过数据和目标字段访问功能数据和目标值。这里,training_set.data和training_set.target分别包含训练集的特征数据和目标值,test_set.data和test_set.target包含测试集的特征数据和目标值。
稍后,在“五、将DNNClassifier安装到鸢尾培训数据”中,您将使用training_set.data和training_set.target来训练您的模型,在“六、评估模型的准确性”中,您将使用test_set.data和test_set.target 。但首先,您将在下一节中构建您的模型。
三、构建深度神经网络分类器
tf.estimator提供了各种预定义的模型,称为Estimators,您可以使用“开箱即用”对数据运行培训和评估操作。在这里,您将配置深度神经网络分类器模型以适应鸢尾数据。使用tf.estimator,你可以用几行代码实例化你的tf.estimator.DNNClassifier:
# Specify that all features have real-value data
feature_columns = [tf.feature_column.numeric_column("x", shape=[4])]
# Build 3 layer DNN with 10, 20, 10 units respectively.
classifier = tf.estimator.DNNClassifier(feature_columns=feature_columns,
hidden_units=[10, 20, 10],
n_classes=3,
model_dir="/tmp/iris_model")
然后,代码使用以下参数创建一个DNNClassifier模型:
(1)feature_columns=feature_columns。上面定义的一组特征列。
(2)hidden_units=[10, 20, 10]。三个隐藏层,分别包含10,20和10个神经元。
(3)n_classes=3。三个目标类,代表三个鸢尾属。
(4)model_dir=/tmp/iris_model。 TensorFlow将在模型训练期间保存检查点数据和TensorBoard摘要的目录。
四、描述训练输入流水线
tf.estimator API使用输入函数,这些输入函数创建了用于为模型生成数据的TensorFlow操作。我们可以使用tf.estimator.inputs.numpy_input_fn来产生输入流水线:
# Define the training inputs
train_input_fn = tf.estimator.inputs.numpy_input_fn(
x={"x": np.array(training_set.data)},
y=np.array(training_set.target),
num_epochs=None,
shuffle=True)
五、将DNNClassifier安装到鸢尾培训数据
现在,您已经配置了DNN分类器模型,可以使用train方法将其适用于Iris训练数据。 将train_input_fn传递给input_fn,以及要训练的步数(这里是2000):
# Train model.
classifier.train(input_fn=train_input_fn, steps=2000)
模型的状态保存在分类器中,这意味着如果你喜欢,可以迭代地训练。 例如,以上相当于以下内容:
classifier.train(input_fn=train_input_fn, steps=1000)
classifier.train(input_fn=train_input_fn, steps=1000)
但是,如果您希望在训练时跟踪模型,则可能需要使用TensorFlow SessionRunHook来执行日志记录操作。
六、评估模型的准确性
您已经在Iris训练数据上训练了您的DNNClassifier模型; 现在,您可以使用evaluate方法检查虹膜测试数据的准确性。 像train一样,evaluate需要一个输入函数来建立它的输入流水线。 评估返回与评估结果的字典。 以下代码将通过Iris测试data-test_set.data和test_set.target来评估和打印结果的准确性:
# Define the test inputs
test_input_fn = tf.estimator.inputs.numpy_input_fn(
x={"x": np.array(test_set.data)},
y=np.array(test_set.target),
num_epochs=1,
shuffle=False)
# Evaluate accuracy.
accuracy_score = classifier.evaluate(input_fn=test_input_fn)["accuracy"]
print("\nTest Accuracy: {0:f}\n".format(accuracy_score))
当你运行完整的脚本时,它会打印出一些接近的内容:
Test Accuracy: 0.966667
您的准确性结果可能会有所不同,但应该高于90%。 不是一个相对较小的数据集!
七、分类新样品
使用估计器的predict()方法对新样本进行分类。 例如,假设你有这两个新的花样:
萼片长度 萼片宽度 花瓣长度 瓣片宽度
6.4 3.2 4.5 1.5
5.8 3.1 5.0 1.7
您可以使用predict()方法预测它们的物种。 预测返回一个字符串生成器,可以很容易地转换为列表。 以下代码检索并打印类预测:
# Classify two new flower samples.
new_samples = np.array(
[[6.4, 3.2, 4.5, 1.5],
[5.8, 3.1, 5.0, 1.7]], dtype=np.float32)
predict_input_fn = tf.estimator.inputs.numpy_input_fn(
x={"x": new_samples},
num_epochs=1,
shuffle=False)
predictions = list(classifier.predict(input_fn=predict_input_fn))
predicted_classes = [p["classes"] for p in predictions]
print(
"New Samples, Class Predictions: {}\n"
.format(predicted_classes))
你的结果应该如下所示:
New Samples, Class Predictions: [1 2]
因此,模型预测第一个样品是Iris versicolor,第二个样品是Iris virginica。
八、其他资源
(1)要了解有关使用tf.estimator创建线性模型的更多信息,请参阅使用TensorFlow的大规模线性模型。
(2)要使用tf.estimator API构建您自己的Estimator,请查看tf.estimator中的Creating Estimators。
(3)要在浏览器中进行神经网络建模和可视化,请查看Deep Playground。
(4)有关神经网络的更高级教程,请参阅卷积神经网络和递归神经网络。
本文主要使用谷歌翻译翻译。
阅读全文
0 0
- tf.estimator Quickstart解读
- tf.estimator Quickstart
- tensorflow(3) tf.estimator
- tf.estimator 快速上手
- 学习笔记TF042:TF.Learn、分布式Estimator、深度学习Estimator
- 在tf.estimator中构建inpu_fn解读
- Building Input Functions with tf.estimator
- tensorflow之tf.contrib.learn Quickstart
- Tensorflow实战学习(四十二)【TF.Learn、分布式Estimator、深度学习Estimator】
- 在tf.contrib.learn.Estimator设置GPU利用率
- tensorflow(4) 在tf.estimator中建立input函数
- TensorFlow学习笔记6----tf.contrib.learn Quickstart
- Quickstart
- 学习笔记TF043:TF.Learn 机器学习Estimator、DataFrame、监督器Monitors
- Tensorflow实战学习(四十三)【TF.Learn 机器学习Estimator,DataFrame,监督器Monitors】
- 第一阶段-入门详细图文讲解tensorflow1.4 -(七)tf.estimator的IRIS
- 第一阶段-入门详细图文讲解tensorflow1.4 -(八)tf.estimator构建数据预处理bostonHouse
- tensorflow学习笔记十四:TF官方教程学习 tf.contrib.learn Quickstart
- 普及X64 ssdtshadow inline HOOK
- JavaEE_Mybatis 获取插入后自增主键的值
- 慎用 JS 中的 for (var index in items) 循环数组项
- Kotlin Eclipse 环境搭建
- shell中if做比较
- tf.estimator Quickstart
- 循环链表的创建与输出
- mysql 数据库varchar(100)可以存储多少个汉字,多少个数字
- 什么是JSP的脚本元素
- jsp开发中的路径问题;JSP的开发模式之MVC模式
- ORA-12519: TNS:no appropriate service handler found 解决
- HashMap和Hashtable的区别
- MQTT-SN协议乱翻之简要介绍
- php获取指定日期时间