图像分析基于所输入图像的视觉内容分析出图像的视觉特征

光学字符识别在图像中检测并识别文本

生成缩略图生成高品质和高存储效率的缩略图

计算机视觉 API

图片分析图片类型:

Clip Art Type 0 Non-clipart

Line Drawing Type 0 Non-Line Drawing

Black & White Image False

图片内容:

Adult Content False

Adult Score 0.18533889949321747

Faces [{ “age”: 27, “gender”: “Male”, “faceRectangle”: {“left”: 472, “top”: 258, “width”: 199,

“height”: 199}}]

Tags

[ { "name": "水", "confidence": 0.9996442794799805 }, { "name": "运动", "confidence": 0.9504992365837097 }, { "name": "游泳", "confidence": 0.9062818288803101, "hint": "体育" }, { "name": "池", "confidence": 0.8787588477134705 }, { "name": "水上运动", "confidence": 0.631849467754364, "hint": "体育" } ]

图片色值:

Dominant Color Background White

Dominant Color Foreground Grey

Dominant Colors White

Accent Color

图片分析 https://www.captionbot.ai/

我觉得图片中是一个人坐在电脑前，他看上去很开心。我有97%的信心认为这个人是比尔盖茨。

识别名人名人识别模块是计算机视觉API中领域特定模块的案例之一。我们全新的名人识别模块可以识别20万来自全球各地涉及商界、政界、体育界以及娱乐界的名人。这些计算机视觉API中的领域特定模块还在不断更新和发展中。

光学字符识别光学字符识别（OCR）可检测图片中的文字信息，并将提取出来的文字信息转化成为机器可读的字符串。通过分析图像来检测嵌入式文本，生成字符串并提供搜索功能。可以让直接拍摄文本的图片，无需手动转录文字，从而节省时间和精力。

智能缩略图对任何输入的图像均可生成高品质和高存储效率的缩略图。缩略图功能可以用最适合你需求的大小、形状和风格来呈现图像。可以通过智能剪裁，获得与图片原始比例不同的缩略图，同时保留你想要的视觉区域。

人脸检测检测图片中的人脸并识别属性

人脸验证核对两张人脸是否属于同一个人

相似人脸搜索从多张人脸中找出与所查人脸相似的人脸

人脸识别 API

人脸分组根据识别的人脸进行分组

人脸辨识查询某张人脸，与提供的数据中的何人相匹配

人脸识别 API

检测"faceRectangle": {"width": 193, "height": 193, "left": 326, "top": 204}

…

属性特征"attributes": { "age": 42, "gender": "male",

"headPose": { "roll": "8.2", "yaw": "-37.8", "pitch": "0.0" }}

辨识Jasper Williams

分组

人脸识别 API

验证结果：这两张图中的人属于同一个人。

识别情感基于面部表情来检测感情

情感识别 API

情感识别 API

人脸检测"faceRectangle": {"width": 193, "height": 193, "left": 326, "top": 204}

…

情感指数“scores": { "anger": 5.182241e-8,

"contempt": 0.0000242813,

"disgust": 5.621025e-7,

"fear": 0.00115027453,

"happiness": 1.06114619e-8,

"neutral": 0.003540177,

"sadness": 9.30888746e-7,

"surprise": 0.9952837}

可检测到的情感有愤怒、轻蔑、厌恶、恐惧、快乐、无表情、悲伤以及惊讶。这些情感具有特定的面部表情，被认为是可进行跨文化和普适交流的。

语音API

语音识别 (语音转文本)将语音转换为文本

语音输出(文本转语音)将文本合成语音

说话者ID & Diarisation即将上线

语音识别

语音识别将语音转换为文本。该API 可以直接打开并识别来自麦克风的实时语音，识别其他来源的实时语音或者从文件内获取的音频。在任何情况下，都可以通过实时流将语音传送到服务器，服务器再将部分识别结果传送回来。

将文本转换成语音。当应用程序需要对用户“说话“时，此API可以将该应用程序产生的文本转换为语音，然后播放给用户。

支持17种语言

语音合成

<speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis" xmlns:mstts="http://www.w3.org/2001/mstts" xml:lang="en-US"><voice name="Microsoft Server Speech Text to Speech Voice (en-US, ZiraRUS)">

Synthesize audio from text, to speak to your users.

</voice></speak>

声纹验证检测两个声音是否来自于同一个人

声纹辨识辨识出谁正在说话

声纹识别 API

微软最先进的拼写检查算法，以云平台为基础检测及识别多种拼写错误

拼写检查 API

在上下文语境中识别常用名称错误能更正上下文中的同形同音异义词及其他难以识别的错误

与时俱进支持不断涌现的新生品牌名称及其他创造性表达式

拼写检查 API

检查单个词语或者整个句子“Our engineers developed this four you!”

Corrected Text: “four” “for”

标识错误并提供修改建议"spellingErrors": [

{ "offset": 5, "token": "gona", "type": "UnknownToken", "suggestions": [

{ "token": "gonna" } ] }

语言理解智能服务

理解用户所说的话使用来自Bing和Cortana的预构的模型或者自己创建的模型

用交互的特征来减少贴标签的工作

使用可视化来测量和提升性能

与语音识别服务的无缝集成

几个样例就足以搭建自己的应用，并自主学习

语言理解智能服务

{“entities”: [

{“entity”: “航班延误”,“type”: “类别”

}],“intents”: [

{“intent”: “找寻新闻”,“score”: 0.99853384

},{

“intent”: “None”,“score”: 0.07289317

},{

“intent”: “朗读新闻”,“score”: 0.0167122427

},{

“intent”: “分享新闻”,“score”: 1.0919299E-06

}]

}

语言理解智能服务

理解您应用中的数据

对话即平台

80s

电脑

90s

网络

00s

智能手机

10s

消息

The world and technology are once again transforming– Satya Nadella, CEO Microsoft

对话服务已经成为人们的生活一种主要习惯之一消息应用呈现出快速增长的态势

Source: BI Intelligence, Portio Research

对话即平台

使用 LUIS + Bot Framework 打造请假对话机器人，其中 LUIS负责解析语言的部分，而Bot Framework 則是完成对话机器人框架。

黑科技

认知服务Skype中的人脸及语音识别

Microsoft Translator自动翻译、字幕呈现

Cortana将来用于Skype智能坐席和机器人

Office 365 + { … } 1 + 1 > 2

Office 365

+

Cognitive

认知服务IoT WeChat

Bot

机器人框架

API

开发者接口Office 365

On-Premise

本地资源

Azure

CRM

Office 365 + IoT + (Surface HUB)基于Office 365的智能会议室及楼道监控系统

Office 365 Exchange Online 物理会议室

物理会议室

楼层中央显示系统

Office 365

会议室1

会议室门口触摸屏

通过EWS获取对应会议室邮箱的忙闲信息

会议室邮箱1

会议室邮箱2

树莓派上的Win 10 IoT

上传传感器数据

会议室2

树莓派上的Win 10 IoT

会议室门口触摸屏

上传传感器数据

通过EWS获取对应会议室邮箱的忙闲信息

Windows Azure

获取传感器数据

获取传感器数据

光感应传感器

声音检测传感器

人体红外感应模块

温度传感器

湿度传感器等

光感应传感器

声音检测传感器

人体红外感应模块

温度传感器

湿度传感器等

关键功能:

楼层中央信息显示平台上用户可以看到各会议室的实时使用情况，人体移动监测、声音监测、温度监测、光亮监测等，方便找寻到理想的空闲会议室

通过移动客户端便实时预定会议室 通过会议室门口触摸显示器实时预定该会议室或查询该会议室使用情况 根据会议室的传感器返回的温度声音等信息帮助找到你最理想的空闲会议室 进一步的可以结合Skype For Business做到“Find ME”定位员工所在大楼

会议预定及管理策略:

• Room Availability

• Book Ad-hoc meetings

• Find colleagues

• Floor plan view

• Room distance

• Point-in-time visualization

Office 365 + Bot Framework + Cognitive

Helpdesk Center Digitalization

© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL

Other Callers

Agents

Helpdesk Center Digitalization

43

Skype for Business

On-Premise/Online

Cloud PBX Dispatcher(UCMA Trusted Application)

SfB Callers

Agents UsingSkype for Biz

Yammer MSD group conversation

Call SfB Client

Phone Callers

LUIS.AI

Chat Robot

KM for Customerin Service Now

CWE Application(Web Server)

Self Service

Portal

Historical SfB conversation

Ticket System in Service Now

© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL

Deployment Architecture

44

O365Dedicated SfB Environment

AD

MARS, Inc.

Users in On-Premise Pool

SfB Server

ADFS

SfB Edge Server

SfB Online

O365 Identity

Users in Online Pool

SfB Online PoolSfB Online Edge

Trusted Application Pool

New Server to Host UCMA trusted application

© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL

Interaction Flow Design

45

User initiates

conversation with

“helpdesk” in SfB

SfB Server Directs User to

Trusted Endpoint

“helpdesk” responds to user

Natural Language Engine

Enabled

Conversation Window Extension

(CWE)LUIS.AI

Communication point for

DB Web Service

Communication point for

ServiceNow Web Service

1

SIP 2

3 TCP/TLS

4

HTTP

5

DB

HTTP

HTTP

TCP

Agents UsingSkype for Biz

6

© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL

Functional Architecture

46

Dispatcher

• Skill Routing

• Waiting Queue

• Contextual Chat

• Relaying Chat

• …

CWE Application

• User Panel

• Agent Panel

• Manager Panel

• …

Chat Robotic

• Natural Language

Understanding

• Auto Response

• Transfer to Agent

Admin Portal

• Manual Training

• Routing rule

setting

• Monitoring

• Analysis

Data StorageLayer

Platform Layer

Business LogicLayer

PresentationLayer

Conversation History

Yammer

KM

Other LOB

IM/Voice/Video/Collaboration Engine AI Engine/Training Interface

© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL

Technology Architecture

47

LUIS.AISfB On-Premise

Dispatcher

• C#

• UCMA 5.0

• Asynchronous

Handling

• MSMQ

CWE Application

• C#、JS、Html

• Silver Light

• .NET MVC

• Skype Web SDK

Chat Robot

• C#

• Bot Framework

• Luis Interface

• UCMA 5.0

Management Portal

• C#、JS、HTML

• .NET MVC

• Luis Interface

• Power BI

Data StorageLayer

Platform Layer

Business LogicLayer

PresentationLayer

Conversation History

Yammer

KM

Other LOB

Office 365 + Bot Framework + Cognitive

Office 365 + Dragon Gate龙门

基础包：

扩展包：

基于企业特定场景或企业业务系统接入的龙门应用解决方案咨询与定制开发

微软 OFFICE 365 的移动端入口• 一个连接 Office 365 和微信的全新服务• 一个轻型的、基于消息的移动协作平台• 一个即插即用的移动生产力应用套件• 一个基于 Office 365 、Azure和微信企业号的应用开发平台

行业方案举例 —— 教育行业 家教云沟通

轻松讨论 分发成绩