Nirvana

cs231n笔记2

Softmax

相对于logistic regression用于二分类,softmax相当于多分类版本的logistic regression。

cs231n笔记1

重要的tricks–validation.

将训练集切割成training set和validation set,使用training set来训练,然后使用validation set来调参数。因此,validation set is essentially used as a fake test set to tune the hyper-parameters.

Gray code

Gray code

n位的格雷码由两部分构成,一部分是n-1位格雷码,再加上1«(n-1)和n-1位格雷码的逆序的和。

Numpy学习笔记

学习笔记

记录Numpy学习中遇到的问题。

Support Vector Machine and Sequential Minimal Optimization

简单笔记

需要$\color{red}{声明}$本文内容基本整理自pluskid的SVM博客内容,链接地址在。 首先考虑用于线性分类器的SVM,对于简单的二分类问题,数据用一个$n$维向量$x$表示,数据对应类别标签记为$y$,标记为-1或1(当然也可以选择其他数字来标记,这个选择只是为后面推导公式方便)。一个线性分类器就是要在$n$维的数据空间中找到一个超平面,其方程可表示为:

Theano学习(1)

Theano是什么

Theano定义了一种语言, 编译器和一个库.

LSTM and GRU

LSTM Networks

我们使用LSTM来combat vanishing gradients through a gating mechanism. 我们来看一个LSTM如何计算$s_t$:

Implementing RNN with python and numpy

A full RNN for language modeling

我们的目标是用RNN来建立一个语言模型. 我们有一个包含m个单词的句子,一个语言模型能使我们预测这个句子出现的概率:

Understand RNN and BPTT

什么是RNN?

RNN(Recurrent Neural Network)背后的思想是利用序列化的信息.在一个传统神经网络中, 我们假设所有输入及输出内部之间是独立的.但是这个假设在许多任务当中是个非常错误的想法.比如, 如果你想预测一个句子的下一个单词, 你最好得知道它之前的单词是什么.RNNs之所以叫循环神经网络是因为他们对一个序列里的每一个元素都进行相同的任务操作, 从而得出的输出天然带有对之前状态的依赖. 另一种理解RNNs的方式是认为他们有记忆单元来获取目前已经计算过了的信息.理论上RNNs可以利用任意长序列的信息, 但在实际应用中他们只能被限制获取之前最近几步的信息. 一个典型的RNN长这样: