tf.train中的Optimizer相关的函数与功能介绍
来源:互联网 发布:新版淘宝店图片大小 编辑:程序博客网 时间:2024/05/21 08:35
摘要:本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。
1、序言
本文所讲的内容主要为以下列表中相关函数。函数training()通过梯度下降法为最小化损失函数增加了相关的优化操作,在训练过程中,先实例化一个优化函数,比如 tf.train.GradientDescentOptimizer,并基于一定的学习率进行梯度优化训练:
optimizer = tf.train.GradientDescentOptimizer(learning_rate)
然后,可以设置 一个用于记录全局训练步骤的单值。以及使用minimize()操作,该操作不仅可以优化更新训练的模型参数,也可以为全局步骤(global step)计数。与其他tensorflow操作类似,这些训练操作都需要在tf.session会话中进行
global_step = tf.Variable(0, name='global_step', trainable=False)train_op = optimizer.minimize(loss, global_step=global_step)
2、Tensorflow函数
2.1 训练 (Training)
一个TFRecords 文件为一个字符串序列。这种格式并非随机获取,它比较适合大规模的数据流,而不太适合需要快速分区或其他非序列获取方式。
█ 优化 (Optimizers)
tf中各种优化类提供了为损失函数计算梯度的方法,其中包含比较经典的优化算法,比如GradientDescent 和Adagrad。
▶▶class tf.train.Optimizer
比如GradientDescentOptimizer, AdagradOptimizer
或者MomentumOptimizertf.train.Optimizer.__init__(use_locking, name)创建一个新的优化器,
该优化器必须被其子类(subclasses)的构造函数调用tf.train.Optimizer.minimize(loss, global_step=None,
var_list=None, gate_gradients=1,
aggregation_method=None, colocate_gradients_with_ops=False,
name=None, grad_loss=None)添加操作节点,用于最小化loss,并更新var_list
该函数是简单的合并了compute_gradients()与apply_gradients()函数
返回为一个优化更新后的var_list,如果global_step非None,该操作还会为global_step做自增操作tf.train.Optimizer.compute_gradients(loss,var_list=None, gate_gradients=1,
aggregation_method=None,
colocate_gradients_with_ops=False, grad_loss=None)对var_list中的变量计算loss的梯度
该函数为函数minimize()的第一部分,返回一个以元组(gradient, variable)组成的列表tf.train.Optimizer.apply_gradients(grads_and_vars, global_step=None, name=None)将计算出的梯度应用到变量上,是函数minimize()的第二部分,返回一个应用指定的梯度的操作Operation,对global_step做自增操作tf.train.Optimizer.get_name()获取名称
▷ class tf.train.Optimizer
用法
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
▶▶在使用它们之前处理梯度
使用minimize()操作,该操作不仅可以计算出梯度,而且还可以将梯度作用在变量上。如果想在使用它们之前处理梯度,可以按照以下三步骤使用optimizer :
1、使用函数compute_gradients()计算梯度2、按照自己的愿望处理梯度3、使用函数apply_gradients()应用处理过后的梯度
例如:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
▶▶选通梯度(Gating Gradients)
函数minimize() 与compute_gradients()都含有一个参数gate_gradient,用于控制在应用这些梯度时并行化的程度。
其值可以取:GATE_NONE, GATE_OP 或 GATE_GRAPH
GATE_NONE : 并行地计算和应用梯度。提供最大化的并行执行,但是会导致有的数据结果没有再现性。比如两个matmul操作的梯度依赖输入值,使用GATE_NONE可能会出现有一个梯度在其他梯度之前便应用到某个输入中,导致出现不可再现的(non-reproducible)结果
GATE_OP: 对于每个操作Op,确保每一个梯度在使用之前都已经计算完成。这种做法防止了那些具有多个输入,并且梯度计算依赖输入情形中,多输入Ops之间的竞争情况出现。
GATE_GRAPH: 确保所有的变量对应的所有梯度在他们任何一个被使用前计算完成。该方式具有最低级别的并行化程度,但是对于想要在应用它们任何一个之前处理完所有的梯度计算时很有帮助的。
█ Slots
一些optimizer的之类,比如 MomentumOptimizer 和 AdagradOptimizer 分配和管理着额外的用于训练的变量。这些变量称之为’Slots’,Slots有相应的名称,可以向optimizer访问的slots名称。有助于在log debug一个训练算法以及报告slots状态
var为用于传入 minimize() 或 apply_gradients()的变量class tf.train.GradientDescentOptimizer使用梯度下降算法的Optimizertf.train.GradientDescentOptimizer.__init__(learning_rate,
use_locking=False, name=’GradientDescent’)构建一个新的梯度下降优化器(Optimizer)class tf.train.AdadeltaOptimizer使用Adadelta算法的Optimizertf.train.AdadeltaOptimizer.__init__(learning_rate=0.001,
rho=0.95, epsilon=1e-08,
use_locking=False, name=’Adadelta’)创建Adadelta优化器class tf.train.AdagradOptimizer使用Adagrad算法的Optimizertf.train.AdagradOptimizer.__init__(learning_rate,
initial_accumulator_value=0.1,
use_locking=False, name=’Adagrad’)创建Adagrad优化器class tf.train.MomentumOptimizer使用Momentum算法的Optimizertf.train.MomentumOptimizer.__init__(learning_rate,
momentum, use_locking=False,
name=’Momentum’, use_nesterov=False)创建momentum优化器
momentum:动量,一个tensor或者浮点值class tf.train.AdamOptimizer使用Adam 算法的Optimizertf.train.AdamOptimizer.__init__(learning_rate=0.001,
beta1=0.9, beta2=0.999, epsilon=1e-08,
use_locking=False, name=’Adam’)创建Adam优化器class tf.train.FtrlOptimizer使用FTRL 算法的Optimizertf.train.FtrlOptimizer.__init__(learning_rate,
learning_rate_power=-0.5,
initial_accumulator_value=0.1,
l1_regularization_strength=0.0,
l2_regularization_strength=0.0,
use_locking=False, name=’Ftrl’)创建FTRL算法优化器class tf.train.RMSPropOptimizer使用RMSProp算法的Optimizertf.train.RMSPropOptimizer.__init__(learning_rate,
decay=0.9, momentum=0.0, epsilon=1e-10,
use_locking=False, name=’RMSProp’)创建RMSProp算法优化器
▷ tf.train.AdamOptimizer
Adam 的基本运行方式,首先初始化:
m_0 <- 0 (Initialize initial 1st moment vector)v_0 <- 0 (Initialize initial 2nd moment vector)t <- 0 (Initialize timestep)
在论文中的 section2 的末尾所描述了更新规则,该规则使用梯度g来更新变量:
t <- t + 1lr_t <- learning_rate * sqrt(1 - beta2^t) / (1 - beta1^t)m_t <- beta1 * m_{t-1} + (1 - beta1) * gv_t <- beta2 * v_{t-1} + (1 - beta2) * g * gvariable <- variable - lr_t * m_t / (sqrt(v_t) + epsilon)
其中epsilon 的默认值1e-8可能对于大多数情况都不是一个合适的值。例如,当在ImageNet上训练一个 Inception network时比较好的选择为1.0或者0.1。
需要注意的是,在稠密数据中即便g为0时, m_t, v_t 以及variable都将会更新。而在稀疏数据中,m_t, v_t 以及variable不被更新且值为零。
█ 梯度计算与截断(Gradient Computation and Clipping)
TensorFlow 提供了计算给定tf计算图的求导函数,并在图的基础上增加节点。优化器(optimizer )类可以自动的计算网络图的导数,但是优化器中的创建器(creators )或者专业的人员可以通过本节所述的函数调用更底层的方法。
colocate_gradients_with_ops=False, gate_gradients=False,
aggregation_method=None)构建一个符号函数,计算ys关于xs中x的偏导的和,
返回xs中每个x对应的sum(dy/dx)tf.stop_gradient(input, name=None)停止计算梯度,
在EM算法、Boltzmann机等可能会使用到tf.clip_by_value(t, clip_value_min, clip_value_max, name=None)基于定义的min与max对tesor数据进行截断操作,
目的是为了应对梯度爆发或者梯度消失的情况tf.clip_by_norm(t, clip_norm, axes=None, name=None)使用L2范式标准化tensor最大值为clip_norm
返回 t * clip_norm / l2norm(t)tf.clip_by_average_norm(t, clip_norm, name=None)使用平均L2范式规范tensor数据t,
并以clip_norm为最大值
返回 t * clip_norm / l2norm_avg(t)tf.clip_by_global_norm(t_list,
clip_norm, use_norm=None, name=None)返回t_list[i] * clip_norm / max(global_norm, clip_norm)
其中global_norm = sqrt(sum([l2norm(t)**2 for t in t_list]))tf.global_norm(t_list, name=None)返回global_norm = sqrt(sum([l2norm(t)**2 for t in t_list]))
█ 退化学习率(Decaying the learning rate)
decay_steps, decay_rate, staircase=False, name=None)对学习率进行指数衰退
▷ tf.train.exponential_decay
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
█ 移动平均(Moving Averages)
一些训练优化算法,比如GradientDescent 和Momentum 在优化过程中便可以使用到移动平均方法。使用移动平均常常可以较明显地改善结果。
▷ tf.train.ExponentialMovingAverage
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
▷ tf.train.ExponentialMovingAverage.variables_to_restore
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
█ 协调器和队列运行器(Coordinator and QueueRunner)
查看queue中,queue相关的内容,了解tensorflow中队列的运行方式。
threads:一个threading.Threads的列表,启动的线程,将额外加入到registered的线程中tf.train.Coordinator.register_thread(thread)Register一个用于join的线程tf.train.Coordinator.request_stop(ex=None)请求线程结束tf.train.Coordinator.should_stop()检查是否被请求停止tf.train.Coordinator.stop_on_exception()上下文管理器,当一个例外出现时请求停止tf.train.Coordinator.wait_for_stop(timeout=None)等待Coordinator提示停止进程class tf.train.QueueRunner持有一个队列的入列操作列表,用于线程中运行
queue:一个队列
enqueue_ops: 用于线程中运行的入列操作列表tf.train.QueueRunner.create_threads(sess,
coord=None, daemon=False, start=False)创建运行入列操作的线程,返回一个线程列表tf.train.QueueRunner.from_proto(queue_runner_def)返回由queue_runner_def创建的QueueRunner对象tf.train.add_queue_runner(qr, collection=’queue_runners’)增加一个QueueRunner到graph的收集器(collection )中tf.train.start_queue_runners(sess=None, coord=None, daemon=True, start=True, collection=’queue_runners’)启动所有graph收集到的队列运行器(queue runners)
▷ class tf.train.Coordinator
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
▷ tf.train.Coordinator.stop_on_exception()
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
█ 布执行(Distributed execution)
可以阅读TensorFlow的分布式学习框架简介 查看更多tensorflow分布式细节。
job_name=None, task_index=None, protocol=None,
config=None, start=True)创建一个新的服务,其中job_name, task_index,
和protocol为可选参数,
优先级高于server_or_cluster_def中相关信息
server_or_cluster_def : 为一个tf.train.ServerDef
或 tf.train.ClusterDef 协议(protocol)的buffer,
或者一个tf.train.ClusterSpec对象tf.train.Server.create_local_server(config=None, start=True)创建一个新的运行在本地主机的单进程集群tf.train.Server.target返回tf.Session所连接的目标服务器tf.train.Server.server_def返回该服务的tf.train.ServerDeftf.train.Server.start()开启服务tf.train.Server.join()阻塞直到服务已经关闭
summary_op=0, saver=0, global_step=0,
save_summaries_secs=120, save_model_secs=600,
recovery_wait_secs=30, stop_grace_secs=120,
checkpoint_basename=’model.ckpt’, session_manager=None, summary_writer=0, init_fn=None)创建一个监视器Supervisortf.train.Supervisor.managed_session(master=”, config=None, start_standard_services=True, close_summary_writer=True)返回一个管路session的上下文管理器tf.train.Supervisor.prepare_or_wait_for_session(master=”, config=None, wait_for_checkpoint=False, max_wait_secs=7200, start_standard_services=True)确保model已经准备好tf.train.Supervisor.start_standard_services(sess)为sess启动一个标准的服务tf.train.Supervisor.start_queue_runners(sess, queue_runners=None)为QueueRunners启动一个线程,queue_runners为一个QueueRunners列表tf.train.Supervisor.summary_computed(sess, summary, global_step=None)指示计算的summarytf.train.Supervisor.stop(threads=None, close_summary_writer=True)停止服务以及协调器(coordinator),并没有关闭sessiontf.train.Supervisor.request_stop(ex=None)参考Coordinator.request_stop()tf.train.Supervisor.should_stop()参考Coordinator.should_stop()tf.train.Supervisor.stop_on_exception()参考 Coordinator.stop_on_exception()tf.train.Supervisor.Loop(timer_interval_secs, target, args=None, kwargs=None)开启一个循环器线程用于调用一个函数
每经过timer_interval_secs秒执行,target(*args, **kwargs)tf.train.Supervisor.coord返回监督器(Supervisor)使用的协调器(Coordinator )
▷ tf.train.Server
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
▷ tf.train.Supervisor
相关参数:
ready_op : 一维 字符串 tensor。该tensor是用过监视器在prepare_or_wait_for_session()计算,检查model是否准备好可以使用。如果准备好,将返回一个空阵列,如果为None,该model没有被检查。
is_chief : 如果为True,创建一个主监视器用于负责初始化与模型的恢复,若为False,则依赖主监视器。
init_op : 一个操作,用于模型不能恢复时的初始化操作。默认初始化所有操作
local_init_op : 可被所有监视器运行的初始化操作。
logdir : 设置log目录
summary_op : 一个操作(Operation ),返回Summary 和事件logs,需要设置 logdir
saver : 一个Saver对象
save_summaries_secs : 保存summaries的间隔秒数
save_model_secs : 保存model的间隔秒数
checkpoint_basename : checkpoint保存的基本名称
- 使用在单进程中
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 使用在多副本运行情况中
要使用副本训练已经部署在集群上的相同程序,必须指定其中一个task为主要,该task处理 initialization, checkpoints, summaries, 和recovery相关事物。其他task依赖该task。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
如果有task崩溃或重启,managed_session() 将检查是否Model被初始化。如果已经初始化,它只需要创建一个session并将其返回至正在训练的正常代码中。如果model需要被初始化,主task将对它进行重新初始化,而其他task将等待模型初始化完成。
注意:该程序方法一样适用于单进程的work,该单进程标注自己为主要的便行
▷ supervisor中master的字符串形式
无论运行在本机或者集群上,都可以使用以下值设定master flag:
- 定义为 ” ,要求一个进程内且没有使用RPC的session
- 定义为 ‘local’,要求一个使用基于RPC的主服务接口(“Master interface” )的session来运行tensorflow程序。更多细节可以查看 tf.train.Server.create_local_server()相关内容。
- 定义为 ‘grpc://hostname:port’,要求一个指定的RPC接口的session,同时运行内部进程的master接入远程的tensorflow workers。可用server.target返回该形式
▷ supervisor高级用法
- 启动额外的服务
managed_session()启动了 Checkpoint 和Summary服务。如果需要运行更多的服务,可以在managed_session()控制的模块中启动他们。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 启动更少的的服务
managed_session() 启动了 “summary” 和 “checkpoint” 线程,这些线程通过构建器或者监督器默认自动创建了summary_op 和saver操作。如果想运行自己的 summary 和checkpointing方法,关闭这些服务,通过传递None值给summary_op 和saver参数。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
▷ tf.train.Supervisor.managed_session
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
▷ tf.train.SessionManager
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
▷ tf.train.ClusterSpec
一个tf.train.ClusterSpec表示一系列的进程,这些进程都参与分布式tensorflow的计算。每一个 tf.train.Server都在一个独有的集群中构建。
创建一个具有两个jobs及其5个tasks的集群们需要定义从job名称列表到网络地址列表之间的映射。
- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
▷ tf.train.replica_device_setter
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
█ 汇总操作(Summary Operations)
我们可以在一个session中获取summary操作的输出,并将其传输到SummaryWriter以添加至一个事件记录文件中。
tag的shape需要与values的相同,用来做summaries的tags,为字符串tf.image_summary(tag, tensor, max_images=3, collections=None, name=None)输出一个图像tensor的summary协议buffertf.audio_summary(tag, tensor, sample_rate, max_outputs=3, collections=None, name=None)输出一个音频tensor的summary协议buffertf.histogram_summary(tag, values, collections=None, name=None)输出一个直方图的summary协议buffertf.nn.zero_fraction(value, name=None)返回0在value中的小数比例tf.merge_summary(inputs, collections=None, name=None)合并summarytf.merge_all_summaries(key=’summaries’)合并在默认graph中手机的summaries
▶▶将记录汇总写入文件中(Adding Summaries to Event Files)
▷ tf.train.SummaryWriter
创建一个SummaryWriter 和事件文件。如果我们传递一个Graph进入该构建器中,它将被添加到事件文件当中,这一点与使用add_graph()具有相同功能。
TensorBoard 将从事件文件中提取该graph,并将其显示。所以我们能直观地看到我们建立的graph。我们通常从我们启动的session中传递graph:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
▷ tf.train.summary_iterator
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
█ 训练的通用函数及其他(Training utilities)
调用函数target(args)tf.py_func(func, inp, Tout, stateful=True, name=None)将python函数包装成tf中操作节点
▷ tf.train.global_step
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
▷ tf.train.write_graph
- 1
- 2
- 3
- 1
- 2
- 3
▷ tf.py_func
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
2.2 测试 (Testing)
TensorFlow 提供了一个方便的继承unittest.TestCase类的方法,该类增加有关TensorFlow 测试的方法。如下例子:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
█ 共用(Utilities)
█ 梯度检查(Gradient checking)
可对比compute_gradient 和compute_gradient_error函数的用法
相关链接:
[1] 安装Tensorflow(Linux ubuntu) http://blog.csdn.net/lenbow/article/details/51203526
[2] ubuntu下CUDA编译的GCC降级安装 http://blog.csdn.net/lenbow/article/details/51596706
[3] ubuntu手动安装最新Nvidia显卡驱动 http://blog.csdn.net/lenbow/article/details/51683783
[4] Tensorflow的CUDA升级,以及相关配置 http://blog.csdn.net/lenbow/article/details/52118116
[5] 基于gensim的Doc2Vec简析 http://blog.csdn.net/lenbow/article/details/52120230
[6] TensorFlow的分布式学习框架简介 http://blog.csdn.net/lenbow/article/details/52130565
[7] Tensorflow一些常用基本概念与函数(1) http://blog.csdn.net/lenbow/article/details/52152766
[8] Tensorflow一些常用基本概念与函数(2) http://blog.csdn.net/lenbow/article/details/52181159
[9] Tensorflow一些常用基本概念与函数(3) http://blog.csdn.net/lenbow/article/details/52213105
- tf.train中的Optimizer相关的函数与功能介绍
- tf.train.Optimizer.minimize
- 关于Tensorflow中的tf.train.batch函数
- 遇到的问题与解决办法(tf.train.shuffle_batch与tf.train.slice_input_producer)
- 【Tensorflow】tf.train.AdamOptimizer函数
- tf.train.shuffle_batch函数解析
- tf.train.batch()和tf.train.shuffle_batch()函数
- tf.train.batch和tf.train.shuffle_batch的用法
- tf.train.batch和tf.train.shuffle_batch的用法
- tf.train.batch和tf.train.shuffle_batch的理解
- tf.train.exponential_decay的用法
- tf.train.ExponentialMovingAverage的用法
- tf.train.exponential_decay的用法
- 举例说明函数tf.train.exponential_decay用法
- tf.train
- tensorflow 中的tf.gradients 与 tf.stop_gradient() 函数
- tensorflow学习——tf.floor与tf.train.batch
- TensorFlow tf.Variable()与tf.get_variable()的简单介绍
- SpringMVC(4.x) 从搭建到放弃(含源码分析)——一
- 直播+产品的商业化探索和思考
- 「端口扫描工具masscan」手把手教你在Ubuntu上安装masscan
- 51Nod 1199 Money out of Thin Air(dfs序+线段树维护区间和)
- PTA-自测-5 Shuffling Machine
- tf.train中的Optimizer相关的函数与功能介绍
- MFC中添加Richedit2.0控件导致程序无法运行的解决方法
- 51nod 最大M子段和
- Oracle里的哈希连接原理
- 单例模式
- #1149 : 回文字符序列
- 暑期学习记录13
- 怎样删除numpy.array中的行或列?
- Hbase完全分布式环境搭建