image from unsplash by Joshua Sortino 机器学习中我们需要对多维度的数据进行处理，所以搞清楚数据的维度以及numpy 和 tensorflow 对于维度的定义就非常关键了。这里我们以 numpy 为例，因为 Tensorflow 的数据格式与 numpy 类似。 1. Axis的数量即为数据的维度

之前的文章简单介绍了深度Q-learning的理论以及Q-learng的实战，这篇文章我们就来实践一下与深度学习相结合的Q-learning——Deep Q-learning。 同样的，为了方便与读者交流，所有的代码都放在了这里： 1. Q-learning与深度学习回顾

image source from unsplash.com by Sergio souza 众所周知，Tensorflow入门之所以困难，与其采用的Graph 和 Session 模式有关，这与原生的 Python 代码简单、直观的印象格格不入。同时，由于计算仅仅发生在Session里面，所以初始化参数和变量的时候没办法将结果打印出来，以至于调试起来也十分困难。

image source from unsplash.com by Daniel Cheung 之前我们介绍了Q-learning和SASAR算法的理论，这篇文章就理论结合实际用Q-learning 和SASAR算法指导智能体，完成悬崖探宝任务。 同样的，为了方便与读者交流，所有的代码都放在了这里： 1. 环境简介 智能体在下图4

通过理论和实战，我们知道，在已知的MDP环境下，可以用动态规划(DP)的方法来获得最佳策略，指导智能体(Agent)行动。DP方法要求环境是已知的，然而实际上我们会遇到更多未知的环境，这个时候就需要用其他方法了。之前的文章介绍过MC和TD (Temporal-Defference) 的理论，这篇文章就用MC方法来玩21点扑克牌游戏。 同样的，为了方便与读者交流，所有的代码都放在了这里： 1. 关于21点游戏

image source from unsplash by Stijin te Strake 之前的文章介绍了用动态规划(DP: Dynamic Programming)求解最优MDP的理论。DP求解最优MPD有两个方法，一是策略迭代(Policy Iteration)，另一个就是值迭代(Value Iteration)。本篇文章就用Python编程实践这个理论。

image source from unsplash by Mehrshad Rajabi 上一篇文章我们用Keras搭建GRU神经网络，通过对前13年牛奶产量的学习，成功预测了地最后1年牛奶的产量。 该模型是多对一的输入/输出结构，也就意味着12个月的数据输入，只能输出1个月的数据。有没有可能改进模型，让输出输入的数量一致，以提高预测效率呢？这篇文章我们就来改进GRU模型，实现多对多的结构。

早前，我介绍了循环神经网络(RNN)的基本概念，这篇文章我们就用Keras搭建一个RNN网络。该RNN能够通过对历史数据的学习，预测未来数据。 同样的，为了方便与读者交流，所有的代码都放在了这里： Repository: 1. GRU和LSTM简介 GRU(Gated Recurrent Unit)和LSTM(Long Short Term

上一篇文章介绍了YOLO和目标识别算法，大家是不是迫不及待跃跃欲试了。先不要着急，YOLO本身原理虽然简单，但是实现起来也不容易。YOLO原生是用C语言写的，放在无法直接用Python实现。

上一篇文章我们讲到，通过卷积神经网络(CNN)可以轻松实现图片的识别与分类。所以，只要有足够多的，已标记的样本，我们就可以用这些样本将神经网络训练成分类器，用来识别新的图片。MINST手写数字的样本，可以训练手写数字分类器；不同品种猫的样本，可以训练出猫的分类器；人脸的样本可以训练出人脸分类器...

Image source: unsplash.com by Paweł Czerwiński 之前的文章我们介绍了如何用单层和多的全连接层神经网络识别手写数字，虽然识别率能够达到98%，但是由于全链接神经网络本身的局限性，其识别率已经很难再往上提升了。我们需要改进神经网络的结构，采用卷积神经网络(CNN)的结构来进一步提高的识别率。

image source from unsplash.com by Paweł Czerwiński 对于机器学习的初学者来说，容易被一些专用术语搞得晕头转向，这篇文章我们就从挑几个容易混淆的概念和术语接解析一下。 1. Batch 在机器学习的过程中，有时候由于样本数量巨大，无法一次性送入模型进行学习，需要分成若干Batch(批次)，将样本分批(Batch)送入模型的学习叫做Batch

Image source: unsplash.com by Sergey Pesterev 上一篇文章中，我们用Tensorflow搭建了单层神经网络，该网络对MNIST手写识别率能到达90%。如何进一步提高识别率呢？Let's go deeper, 搭建更多层的神经网络吧。 同样的，为了方便与读者交流，所有的代码都放在了这里： Repository: 1. 初始化W和B

Image source wikipedia MNIST database 手写数字识别是一个非常经典的机器学习项目，这篇文章，我们就通过Kaggle上这个经典项目，学习如何用Tensorflow和Keras搭建最简单的单层神经网络，来识别手写数字。 同样的，为了方便与读者交流，所有的代码都放在了这里： Repository: 1. 数据下载和预处理

image source by Samuel Zeller from unsplash.com Tensorflow中有一大堆cross_entropy损失函数用于处理分类问题，初学者往往会一脸懵逼，不知道如何选择。 tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy

image source from unsplash.com by Oliur 今天，苹果在新总部Apple Park高调地召开了一场发布会，会上没有发布一款硬件产品，取而代之的是新闻、游戏和视频等的订阅服务，以及原创内容平台Apple TV+的推广。这标志这苹果的业务逐渐从从软硬件的开发逐渐向内容生产和分发拓展。 期间发布的一款不太起眼的产品Apple

今天周日，天气特别好，阳光明媚，感觉夏天的脚步越来越近了。 伦敦南边的皇家里士满公园好久没去过了，小孩这周刚刚学会一点走路，决定带他出去走一走。 这个公园真是太大了，走了大半天也没走到公园四分之一，不愧是这个城市的天然氧吧。公园最有名的就是野生的鹿群了，所以这次也没有让我们失望。

Mr Xiaolai Li, an English teacher, claimed himself as the richest Bitcoin owner in China. Recently, his repo in Github ranked No.1 of the trending repositories with 5k stars and 3.6k forks.

万事开头难，对于机器学习初学者来说，最困难的可能是如何在计算机中搭建机器学习所需要的环境，特别是如何配置GPU问题，让很多老鸟都颇为头疼。 好消息是Google爸爸已经替大家把这些问题都解决了，现在只需要有一台能(科学)上网电脑，一个浏览器就能可以开启机器学习之路了，Google甚至把昂贵的GPU和TPU都开放出来了，还等什么，赶紧上车吧。 1.Colab简介

在之前的文章中，我们发现训练组(篮)和验证组(红)的损失函数在20个Epoch之后，向着相反方向变化。训练组损失函数继续下降，验证组损失函数反而在上升，这就是典型的Overfitting(过拟合)现象。 过拟合就是模型过度地学习了训练集的特征，反而没法处理测试集中更一般化的问题。处理过拟合最根本的解决方法当然是获得更多的训练样本。