上一篇文章我们介绍了如何使用Keras处理分类问题，那Tensorflow可不可以像处理回归问题一样，直接处理分类问题呢？ 答案当然是肯定的。这篇文章我们就用之前 相同的数据，来学习如何用Tensorflow训练一个线性分类器。数据预处理的过程就略过了，可以参考上一篇文章。 同样的，为了方便与读者交流，所有的源代码都放在了这里： 1. 定义数据shape

Tensorflow 和 Keras 除了能处理前一篇文章提到的回归(Regression，拟合&预测)的问题之外，还可以处理分类(Classfication)的问题。 这篇文章我们就介绍一下如何用Keras快速搭建一个线性分类器或神经网络，通过分析病人的生理数据来判断这个人是否患有糖尿病。 同样的，为了方便与读者交流，所有的源代码都放在了这里： 1. 数据的导入

先吐槽一下 在“人工智能“大行其道的今天，各种基于“用户喜好”和“大数据”的推送内容的App层出不穷，让好多不喜欢阅读的现代人都沉迷于阅读，无法自拔。 据我观察，我的岳母大人50多岁才接触智能手机，手机里面也几乎只用两个App，一个是微信，另一个就是大名鼎鼎的“今日头条“。 类似“今日头条”这样的App，推送的内容要么是“标题党“，要么就是为了迎合大众口味的“三俗”内容，没什么质量。

前面两篇文章介绍了Tensorflow，以及用Tensorflow快速上手一个线性回归的项目。 实际上Tensorflow对于机器学习新手来说并不是很友好，Tensorflow自己也有高层API，比如Estimator和tf.data就相对来说更容易上手。 Keras本来是独立的机器学习框架，但已经逐渐被整合进了Tensorflow, 今天我们就来简单上手一下吧。 同样的，为了方便与读者交流，所有源代码都放在了

上一篇文章我们介绍了Tensorflow的基础，趁热打铁，这篇文章介绍一下如何用Tensorflow训练一个线性回归的项目。 为了方便读者交流和学习，我在github上创建了一个repo，地址在这里 1. import 首先当然是要import tensorflow，numpy 以及以及数据可视化工具 import tensorflow as tf import numpy as np import

1.什么是Tensorflow Tensorflow是Google 开发的，一个用于机器学习，特别是深度学习的一个Python框架(也支持其他语言)。与Tensorflow类似的框架非常多，但Tensorflow的是目前是最流行的深度学习框架。 2.学习Tensorflow之前 总结3条学Tensorflow之前必备技能，就3条 一定的python基础，不需要特别精通，但是基本语法要知道。

图片来自@pixabay 虽然支付宝，微信支付的流行极大方便了我们的生活，但是移动支付工具还是无法完全取代银行的功能。毕竟大宗交易，ATM取现毕竟还是需要依赖传统银行卡。微信和支付宝都陆续取消了免费向银行卡提现的福利，超过一定限额之后就会收取不菲的手续费，实在让人肉疼。 今天我就向大家介绍两种免手续费支付宝提现的方法。 方法一、网商银行

Chrome早已取代IE和Firefox成为最流行的浏览器。本人用的主要浏览器也是Chrome。Mac，Windows电脑，iPad，iPhone以及安卓手机上面都将Chrome设置为了默认浏览器。 Chrome对于我的不可替代性不在于它的功能，速度以及插件数量，而是背后强大的Google服务。收藏夹，浏览记录，账户密码跨平台同步。

1. 先吐槽一下微软 作为一个多年的Mac用户，我几乎从来不会主动黑微软，因为当年免费用了人家那么久的盗版系统，总觉得对这个还算伟大的公司有所亏欠。但是这个由Outlook造成的毛病，严重影响了本人的工作和学习，今天不得不先吐槽一下。 经常会收到老板和同事发来的邮件，莫名其妙地包含一个Winmail.dat的附件。Winmail.data中有时候是没什么用的公司logo，有时候却可能是非常重要的文档或图片。

上一篇文章回顾了强化学习的核心概念，这里继续通过Open AI 的Spinning Up 项目总结强化学习(RL)的算法，通过分类和对比的方法系统介绍强化学习的算法。 1. 算法分类 ---图片来自Open AI Spinning up 项目--- 由于强化学习是一个更新速度非常快的领域，所以准确地全面地分类是相当困难的，Spinning up 项目组给出的这个分类虽然并不全面，但是对初学者来说是非常有用了。

虽然之前的文章零零散散地介绍了强化学习的核心概念，但是从来没有系统性地总结这些概念。Spinning Up 项目的官方文档总结得非常好，通俗易懂。通过学习这篇文章，对强化学习的核心概念又有了深入的理解，这篇文章就分享一下我的理解。 1. 核心概念词汇 强化学习的核心概念和词汇包括——中英文对照，准确的定义我就不赘述了，只是提炼这些概念和词汇中最重要的关键点。 状态和观察(States and

前面的文章介绍了太多强化学习的理论，今天我们就通过具体项目，理论结合实践深入理解和学习强化学习。 1. Spinning Up 项目简介 Spinning Up 是大名鼎鼎的Open AI推出的免费强化学习教学项目，旨在降低强化学习的门槛，让初学者能在项目实践的过程中一步一步循序渐进地学习。项目不仅提供了详细的理论介绍，同时还有完整的练习代码，真的不不愧是学习深度强化学习的良心之作。

DeepMind 最近又上了新闻，他们最新的AlphaStar在星际争霸的游戏中与人类顶级星际玩家打成了11比1，几乎完胜人类玩家。这篇文章就结合DeepMind的创始人之一David Silver的最后一节强化学习课程，简单探讨一下AI是如何在游戏领域学习并战胜人类的。 1.完全信息双人零和博弈 首先，将游戏简化为双人零和博弈的游戏，即为 游戏参与者只有两方，你和计算机，或者计算机和计算机。

我的Macbook Pro 已经为我勤勤恳恳工作了六、七年了，重来没有重装过系统，依然能满足我的工作，唯一的问题就是硬盘太小了。当年2012年256GB的SSD已经是很大的容量了，但是放在现在已经捉襟见肘，必须得不停地清理东西，严重影响工作效率。 苹果的配件很多都不是通用的，我的这个Macbook Pro是初代的视网膜屏幕版本，SSD既不是现在的接口，也不是通用的M2接口。上某宝查询了一下，拆机SSD

之前有一篇文章写到如何美化Mac终端和这篇文章继续总结梳理一下。 1. 终端配色 Mac默认的终端白底黑字非常难看，第一部就是改变配色，打开终端设置，还是有蛮多配色可以选择的 当然我还是在网上下载了Solarized 的配色方案，并将其设置为了默认配色。 2. 语法高亮 这里需要修改配置文件，直接在终端修改配置文件，我这里用的是vim vi ~/.bash_profile 添加两行 export

在之前的一篇文章中讲到了多臂老虎机问题，这是强化学习中探索-利用困境的经典案例。这篇文章将更多从理论上来探讨如何解决探索-利用困境。 1. 多臂老虎机问题回顾 多个拉杆的赌博机，每一个拉杆的中奖几率是不一样的，问题是：如何在有限次数内，选择拉不同的拉杆，获得最多的收益。 将这个问题用强化学习的数学模型进行描述 每个拉杆相互独立，只有一个Episode，拉一次就结束这个Episode.

对于居住在国外，由于版权限制无法使用网易云音乐，虾米，QQ音乐等国内音乐App听音乐的小伙伴来说，Youtube真的是个好东西。上面不仅能搜到几乎所有的中英文歌曲，并且根据你听的音乐自动生成的List也是异常强大，但是Youtue App 有个缺点，就是不能背景播放，如果有这个需求需要充值买会员。

之前发表的关于强化学习的文章，无论是基于策略的还是基于价值的还是两者均兼顾的强化学习方法都没有涉及到具体的模型。 1. 无模型(Model-Free)的强化学习回顾 机器人在真实环境中互动学习，然后寻找到行动策略，然后学习优化策略。 2. 基于模型(Model-Based)的强化学习简介 模型就是对真实世界的模拟，在模型中学习就是在真实世界中建模，所以学习的环境变成了模型中的‘‘卡通’’世界。

1. 回顾强化学习方法 我们介绍了基于价值(Value-Based)的强化学习和基于策略(Policy-Based)的强化学习，有没有结合两者优势的强化学习方法呢？答案是肯定的，那就是Actor-Critic学习方法。三者的关系如下图：

1. 基于价值的强化学习回顾 前几篇文章都是在讲通过训练值函数的近似函数，然后通过比如Ɛ-greedy探索方法获得最佳策略，这种方法叫做基于价值的强化学习。然而基于价值的强化学习有无法收敛，无法获得随机策略，以及可能遇到状态重名的问题。