机器学习进阶笔记之一 | TensorFlow安装与入门

原文链接:https://zhuanlan.zhihu.com/p/22410917

TensorFlow 是 Google 基于 DistBelief 进行研发的第二代人工智能学习系统,被广泛用于语音识别或图像识别等多项机器深度学习领域。其命名来源于本身的运行原理。Tensor(张量)意味着 N 维数组,Flow(流)意味着基于数据流图的计算,TensorFlow 代表着张量从图象的一端流动到另一端计算过程,是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程。 —— 由 UCloud云计算 分享

引言

TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统,被广泛用于语音识别或图像识别等多项机器深度学习领域。其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow代表着张量从图象的一端流动到另一端计算过程,是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程。

TensorFlow完全开源,任何人都可以使用。可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。

『机器学习进阶笔记』系列是将深入解析TensorFlow系统的技术实践,从零开始,由浅入深,与大家一起走上机器学习的进阶之路。

CUDA与TensorFlow安装

按以往经验,TensorFlow安装一条pip命令就可以解决,前提是有fq工具,没有的话去找找墙内别人分享的地址。而坑多在安装支持gpu,需预先安装英伟达的cuda,这里坑比较多,推荐使用ubuntu deb的安装方式来安装cuda,run.sh的方式总感觉有很多问题,cuda的安装具体可以参考。 注意链接里面的tensorflow版本是以前的,tensorflow 现在官方上的要求是cuda7.5+cudnnV4,请在安装的时候注意下。

Hello World

 import tensorflow as tf
 hello = tf.constant(‘Hello, TensorFlow!‘)
 sess = tf.Session()
 print sess.run(hello)

首先,通过tf.constant创建一个常量,然后启动Tensorflow的Session,调用sess的run方法来启动整个graph。
接下来我们做下简单的数学的方法:

 import tensorflow as tf
 a = tf.constant(2)
 b = tf.constant(3)
 with tf.Session() as sess:
     print "a=2, b=3"
     print "Addition with constants: %i" % sess.run(a+b)
     print "Multiplication with constants: %i" % sess.run(a*b)
 # output
 a=2, b=3
 Addition with constants: 5
 Multiplication with constants: 6

接下来用tensorflow的placeholder来定义变量做类似计算:
placeholder的使用见 https://www.tensorflow.org/versions/r0.8/api_docs/python/io_ops.html#placeholder

 import tensorflow as tf
 a = tf.placeholder(tf.int16)
 b = tf.placeholder(tf.int16)
 add = tf.add(a, b)
 mul = tf.mul(a, b)
 with tf.Session() as sess:
     # Run every operation with variable input
     print "Addition with variables: %i" % sess.run(add, feed_dict={a: 2, b: 3})
     print "Multiplication with variables: %i" % sess.run(mul, feed_dict={a: 2, b: 3})
 # output:
 Addition with variables: 5
 Multiplication with variables: 6
 matrix1 = tf.constant([[3., 3.]])
 matrix2 = tf.constant([[2.],[2.]])
 with tf.Session() as sess:
     result = sess.run(product)
     print result

线性回归

以下代码来自GitHub - aymericdamien/TensorFlow-Examples: TensorFlow Tutorial and Examples for beginners,仅作学习用

 import tensorflow as tf
 import numpy
 import matplotlib.pyplot as plt
 rng = numpy.random

 # Parameters
 learning_rate = 0.01
 training_epochs = 2000
 display_step = 50

 # Training Data
 train_X = numpy.asarray([3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,7.59,2.167,7.042,10.791,5.313,7.997,5.654,9.27,3.1])
 train_Y = numpy.asarray([1.7,2.76,2.09,3.19,1.694,1.573,3.366,2.596,2.53,1.221,2.827,3.465,1.65,2.904,2.42,2.94,1.3])
 n_samples = train_X.shape[0]

 # tf Graph Input
 X = tf.placeholder("float")
 Y = tf.placeholder("float")

 # Create Model

 # Set model weights
 W = tf.Variable(rng.randn(), name="weight")
 b = tf.Variable(rng.randn(), name="bias")

 # Construct a linear model
 activation = tf.add(tf.mul(X, W), b)

 # Minimize the squared errors
 cost = tf.reduce_sum(tf.pow(activation-Y, 2))/(2*n_samples) #L2 loss
 optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost) #Gradient descent

 # Initializing the variables
 init = tf.initialize_all_variables()

 # Launch the graph
 with tf.Session() as sess:
     sess.run(init)

     # Fit all training data
     for epoch in range(training_epochs):
         for (x, y) in zip(train_X, train_Y):
             sess.run(optimizer, feed_dict={X: x, Y: y})

         #Display logs per epoch step
         if epoch % display_step == 0:
             print "Epoch:", ‘%04d‘ % (epoch+1), "cost=",                  "{:.9f}".format(sess.run(cost, feed_dict={X: train_X, Y:train_Y})),                  "W=", sess.run(W), "b=", sess.run(b)

     print "Optimization Finished!"
     print "cost=", sess.run(cost, feed_dict={X: train_X, Y: train_Y}),            "W=", sess.run(W), "b=", sess.run(b)

     #Graphic display
     plt.plot(train_X, train_Y, ‘ro‘, label=‘Original data‘)
     plt.plot(train_X, sess.run(W) * train_X + sess.run(b), label=‘Fitted line‘)
     plt.legend()
     plt.show()

逻辑回归

 import tensorflow as tf
 # Import MINST data
 from tensorflow.examples.tutorials.mnist import input_data
 mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)

 # Parameters
 learning_rate = 0.01
 training_epochs = 25
 batch_size = 100
 display_step = 1

 # tf Graph Input
 x = tf.placeholder(tf.float32, [None, 784]) # mnist data image of shape 28*28=784
 y = tf.placeholder(tf.float32, [None, 10]) # 0-9 digits recognition => 10 classes

 # Set model weights
 W = tf.Variable(tf.zeros([784, 10]))
 b = tf.Variable(tf.zeros([10]))

 # Construct model
 pred = tf.nn.softmax(tf.matmul(x, W) + b) # Softmax

 # Minimize error using cross entropy
 cost = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred), reduction_indices=1))
 # Gradient Descent
 optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)

 # Initializing the variables
 init = tf.initialize_all_variables()

 # Launch the graph
 with tf.Session() as sess:
     sess.run(init)

     # Training cycle
     for epoch in range(training_epochs):
         avg_cost = 0.
         total_batch = int(mnist.train.num_examples/batch_size)
         # Loop over all batches
         for i in range(total_batch):
             batch_xs, batch_ys = mnist.train.next_batch(batch_size)
             # Run optimization op (backprop) and cost op (to get loss value)
             _, c = sess.run([optimizer, cost], feed_dict={x: batch_xs,
                                                           y: batch_ys})
             # Compute average loss
             avg_cost += c / total_batch
         # Display logs per epoch step
         if (epoch+1) % display_step == 0:
             print "Epoch:", ‘%04d‘ % (epoch+1), "cost=", "{:.9f}".format(avg_cost)

     print "Optimization Finished!"

     # Test model
     correct_prediction = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1))
     # Calculate accuracy
     accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
     print "Accuracy:", accuracy.eval({x: mnist.test.images, y: mnist.test.labels})

     # result :
     Epoch: 0001 cost= 29.860467369
     Epoch: 0002 cost= 22.001451784
     Epoch: 0003 cost= 21.019925554
     Epoch: 0004 cost= 20.561320320
     Epoch: 0005 cost= 20.109135756
     Epoch: 0006 cost= 19.927862290
     Epoch: 0007 cost= 19.548687116
     Epoch: 0008 cost= 19.429119071
     Epoch: 0009 cost= 19.397068211
     Epoch: 0010 cost= 19.180813479
     Epoch: 0011 cost= 19.026808132
     Epoch: 0012 cost= 19.057875510
     Epoch: 0013 cost= 19.009575057
     Epoch: 0014 cost= 18.873240641
     Epoch: 0015 cost= 18.718575359
     Epoch: 0016 cost= 18.718761925
     Epoch: 0017 cost= 18.673640560
     Epoch: 0018 cost= 18.562128253
     Epoch: 0019 cost= 18.458205289
     Epoch: 0020 cost= 18.538211225
     Epoch: 0021 cost= 18.443384213
     Epoch: 0022 cost= 18.428727668
     Epoch: 0023 cost= 18.304270616
     Epoch: 0024 cost= 18.323529782
     Epoch: 0025 cost= 18.247192113
     Optimization Finished!
     (10000, 784)
     Accuracy 0.9206

这里有个小插曲,ipython notebook在一个notebook打开时,一直在占用GPU资源,可能是之前有一个notebook一直打开着,然后占用着GPU资源,然后在计算Accuracy的”InternalError: Dst tensor is not initialized.” 然后找了github上面也有这个问题InternalError: Dst tensor is not initialized.,可以肯定是GPU的memory相关的问题,所以就尝试加上tf.device(‘/cpu:0’),将Accuracy这步拉到cpu上计算,但是又出现OOM的问题,最后nvidia-smi时,发现有一个python脚本一直占用3g多的显存,把它kill之后恢复了,之前还比较吐槽怎么可能10000*784个float就把显存撑爆呢,原来是自己的问题。

这里逻辑回归,model是一个softmax函数用来做多元分类,大概意思是选择10当中最后预测概率最高作为最终的分类。

其实基本的tensorflow没有特别好讲的,语法的课程什么可以去看看基本的文档,之后我会找一点经典有趣的tensorflow的代码应用来看看,毕竟『show me the code 』才是程序猿应有的态度。

?

本文由『UCloud内核与虚拟化研发团队』提供。

关于作者:

Burness(@段石石 ), UCloud平台研发中心深度学习研发工程师,tflearn Contributor,做过电商推荐、精准化营销相关算法工作,专注于分布式深度学习框架、计算机视觉算法研究,平时喜欢玩玩算法,研究研究开源的项目,偶尔也会去一些数据比赛打打酱油,生活中是个极客,对新技术、新技能痴迷。

时间: 02-05

机器学习进阶笔记之一 | TensorFlow安装与入门的相关文章

机器学习(3)-Tensorflow安装与测试

安装.# Ubuntu/Linux 64-bit $ sudo apt-get install python-pip python-dev # Ubuntu/Linux 64-bit, CPU only, Python 2.7 $ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.12.0rc0-cp27-none-linux_x86_64.whl # Python 2 $

cgroup学习笔记1 -- cgroup安装与入门

参考资料 http://www.ibm.com/developerworks/cn/linux/1506_cgroup/ http://www.elmerzhang.com/2012/11/cgroups-learning-1-introduction/ http://blog.csdn.net/jk198310/article/details/9292667 http://blog.chinaunix.net/uid-20788636-id-4451420.html 1 安装 1.1 系统配置

nodejs学习笔记之安装、入门

由于项目需要,最近开始学习nodejs.在学习过程中,记录一些必要的操作和应该注意的点. 首先是如何安装nodejs环境?(我用的是windows 7环境,所以主要是windows 7的例子.如果想看linux下的安装可以参考http://www.cnblogs.com/meteoric_cry/archive/2013/01/04/2844481.html) 1. nodejs提供了一些安装程序,可以去官网(http://nodejs.org/download/)按照自己的机器进行下载,下载完

oracle进阶笔记-基础准备-oracel-linux安装

Oracle 11g 在RedHat Linux 5.8_x64平台的安装手册 搭建环境:VM10 + RedHat 5.8_x64 +oracle 11g (grid+db) 步骤简述: 1.在电脑上安装VMware软件 2.创建一个RedHat5.8_x64系统的虚拟机完成系统安装,并配置系统基本的操作环境 3.检测环境是否符合Oracle的最低安装要求,并安装软件包和系统补丁 4.创建用户和组,并设置工作角色分离,修改内核参数设置用户资源控制 5.创建ASM并安装grid 6.安装Orac

windows下 python3.5+tensorflow 安装

个人随笔,备忘参考 首先最近的tensorflow 对python3.5.x友好,我先装了Python3.6,查其他的一些博客说出现问题,后来重装3.5.0.下载用迅雷,超快. 安装比较简单,官网下载,然后安装,安装时记得勾选add path,下面贴了博客参考 windows系统下Python环境的搭建 - InSky - 博客园http://www.cnblogs.com/windinsky/archive/2012/09/20/2695520.html 然后cmd  或者win+r 运行Py

机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理)

http://www.cnblogs.com/tornadomeet/p/3395593.html 机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理) 前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技的不断发展,相信这方面的人才需求也会越来越大.

TensorFlow安装及实例-(Ubuntu16.04.1 & Anaconda3)

TensorFlow安装及实例-(Ubuntu16.04.1 & Anaconda3) Python-pip 和python-dev Pip是python的默认包管理器,直接用pip安装TensorFlow,安装这两个包 命令:apt-get install python-pip python-dev python-virtualenv 可以virtualenv 创建一个隔离的容器, 来安装 TensorFlow. 这是可选的,这样做能使排查安装问题变得更容易. 安装Anaconda3 命令:b

yum方式软件管理及进阶源码编译安装

1. yum简介2. yum组成结构3. yum配置使用4. yum命令详解5. yum源变量6. yum仓库创建7.进阶源码编译安装 1. yum简介YUM: Yellowdog Updater Modifed, 是由Duke University团队修改Yellow Dog Linux的Yellow Dog Updater开发而来的,是一个基于RPM包管理器的字符前端软件管理器(依赖于RPM包).能够从指定的服务器自动下载RPM包并且安装,可以处理RPM包的依赖关系,并且一次安装所有依赖的软

jQuery学习笔记(一):入门

jQuery学习笔记(一):入门 一.JQuery是什么 JQuery是什么?始终是萦绕在我心中的一个问题: 借鉴网上同学们的总结,可以从以下几个方面观察. 不使用JQuery时获取DOM文本的操作如下: 1 document.getElementById('info').value = 'Hello World!'; 使用JQuery时获取DOM文本操作如下: 1 $('#info').val('Hello World!'); 嗯,可以看出,使用JQuery的优势之一是可以使代码更加简练,使开