咨询热线:0731-88808590
 
 立即注册

只需一步,快速开始

2
返回列表
楼主: uesoft

开源数学软件(讨论群:qq群号 231033271) -云顶集团官方网站入口

 楼主| 发表于 2017-11-3 08:33:07 |
四大开源无人机项目,极客要get了


即便是在民用无人机方面,称得上无人机这一类的无人空中设备也似乎越来越多。如今,无人机这个术语似乎涵盖一切装置:从便宜的多翼玩具直升机,一直到拥有非常强大的人工智能功能的定制飞行器,不一而足。

作者:布加迪编译来源:51cto.com|2016-12-12 12:28


【51cto.com快译】在过去的几年间,人们对民用和商用无人机的兴趣迅速增长,无人机硬件在许多人的节假日愿望清单中名次很靠前。

即便是在民用无人机方面,称得上无人机这一类的无人空中设备也似乎越来越多。如今,无人机这个术语似乎涵盖一切装置:从便宜的多翼玩具直升机,一直到拥有非常强大的人工智能功能的定制飞行器,不一而足。

我认识的自认为是无人机爱好者的人士大多数在寻找介于两者之间的装置。他们喜欢足够大,可以支撑较长时间飞行的飞行器,配备摄像头或其他数据捕获装置,也许能够使用预先编制的协调数据或实时数据,自动控制部分或全部的飞行操作。

这个领域的预制设备在价格和做工质量上差别很大,我见过的大多数使用专有的软硬件。但是你没必要走这条路子!无人机制造界已开发出了许多软硬件项目,采用开放许可证,让你可以制造、修理、定制或试验自己的无人机,或者以另外某种方式补充无人机的用途。不妨看一下其中的几个项目。

1.paparazzi uav

paparazzi uav这个项目结合了制造和飞行开源飞行器所需的软件和硬件,它们是采用开放许可证发布的。它主要专注于自动飞行,旨在便于携带,让操作人员可以将设备轻松带到野外,并且预先设定好,让无人机可以沿一系列航路点来飞行。软件组件的源代码和版本可以在github()上找到,让它适应现成硬件或定制硬件的教程也可以在项目的维基()上找到。

相关链接:

2.dronecode / px4

dronecode项目是linux基金会赞助的一个项目,致力于为无人机开发构建一个通用的开源平台。我们之前深入介绍了这个项目,但它们继续提供许多不同的开发资源(),包括github的软件库(包括几个实用工具)。今年早些时候这个项目分家,几家支持的公司和开发者从dronecode跑到了一个名为px4的新项目。该新项目提供了许多同一资源的更新版,处于积极开发的状态。

相关链接:和

3.opendronemap

你已使用无人机来拍摄某个地区的许多航空图像。现在该做什么?opendronemap也许能助一臂之力。opendronemap拿来这些航空图像后,可以帮助你把它处理成点云、数字化平面和高程模型,或者对图像进行正射纠正(实际上按照已知的坐标系统排列图像,以便进一步分析)。

获得github()上采用gpul许可证的源代码或测试版,以及示例数据集,就可以看看它是否适合你;该项目的维基有更多的信息()。opendronemap旨在在linux里面运行,可以与docker一起运行,避免需要开发该项目所需的那种配置环境。

相关链接:

4.drone journalism lab操作手册

想看看无人机如何影响日常生活,一个比较有意思的例子就是它们在新闻界的应用,尤其是在业余调查新闻界,将目光投向天空,记载下我们身边这个世界发生的一切。内布拉斯加林肯大学的drone journalism lab旨在教新闻记者如何合法、合情地使用无人机,作为新闻工作的一部分。为了实现这个目标,它们开源了操作手册,放在github上()或做成pdf文档(),采用了知识共享(creative commons)许可证,向任何希望使用无人机,进一步增强报导功能的新闻组织提供最佳实践。

原文标题: 4 open source drone projects,作者:jason baker
 楼主| 发表于 2017-11-9 09:29:20 |
mit创建了稀疏傅里叶变换(sft)算法,比fft快上10至100倍

美国《技术评论》每年评选10项改变世界的新技术。今年榜上有名的包括更快傅里叶变换这一数学技术,它将带来更快的数字世界。今年麻省理工创建了稀疏傅里叶变换(sft)算法,对数据流的处理要比快速傅里叶变换快上10至100倍。今天的互联网骨干网和路由器实际上只能读取涓涓数流,而sft可研读数据洪流。
documentation and code:

面向fpga的稀疏傅里叶并行算法实现  

sparse fast fourier transform  

稀疏傅里叶变换,sparse fourier transform,fft的革命性演进  
 楼主| 发表于 2018-4-5 19:56:08 |
开源电磁场仿真




作者:dongrub dorji
链接:
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

首先 clemson 有个专门的网页来维护相关的信息:free em modeling codes  这个网页更新还是比较勤快的,基本上你能知道的电磁场相关的开源软件都有涉及。几个可以参考的项目有:meep documentation  这个软件基于fdtd算法,mit主导,开发很活跃,背后是这个人steven g. johnson。openems.de这个也是基于fdtd, university of duisburg-essen 主导。 open numerical engineering laboratory 这个是基于fem的,由christophe geuzaine主导开发,由gmsh形成剖分,由getdp构成前后处理几求解器,也是开发很活跃,有兴趣还可以看看他基于这套工具开的课程  elec 0041: modeling and design of electromagnetic systems - spring 2018。
csc - elmer  和 fenics project   这俩是传说中要一箭多雕的多物理场求解器,前一个基于fortran开发有年头了,后一个开发还是很活跃的,是一个通用的库,用python做前端来做方程求解。
 楼主| 发表于 2018-8-19 09:10:09 |
英特尔收购ai初创公司vertex.ai  plaidml   

腾讯科技讯 据外媒报道,最近英特尔开始了收购狂欢。在相继收购深度学习初创公司nervana、无人驾驶技术公司mobileye和视觉处理芯片初创公司movidius后,它刚刚又宣布收购ai初创公司vertex.ai。相关交易金额尚未对外公布。
根据vertex.ai公司网站的通讯稿,该公司将并入英特尔人工智能产品部门,以“支持各种硬件”,并与英特尔多语言加速平台plaidml整合。plaidml平台可以让开发者利用英特尔ngraph机器学习后端在linux、macos和windows设备上部署ai模型套件。英特尔将在apache 2.0协议下继续开发开源平台plaidml。
“英特尔收购了位于西雅图的初创公司vertex.ai。该初创公司专注于开发深度学习汇编工具和相关技术。”英特尔在一项声明中说,“vertex.ai公司的7人团队将会加入英特尔人工智能产品部门的movidius团队。通过此次收购,英特尔获得了富有经验的团队和重要的知识产权,从而能够进一步开发深度学习技术。除此之外的其他细节并不准备对外公布。”
在2015年,vertex.ai公司由杰里米-布鲁斯特勒(jeremy bruestle)和宗-恩格(choong ng)创办。它的使命是打造连接硬件和ai软件的框架。它从curious capital和creative destruction lab等投资者那里获得了种子资金。
“现在的cpu和gpu非常强大,足以提供多种智能应用。”恩格在2016年曾表示,“但是,由于缺乏便携式的、对开发者友好的工具,大多数公司都没有认识到深度学习技术对于其业务的发展有多大的帮助。一年前,我们发现利用新的软件方法可以同时解决针对所有平台的兼容性和便携性问题。它要求我们重新思考我们执行算法的方式。这对工程师来说是一个很大的挑战。但是,这样做是值得的。”
对于英特尔来说,收购vertex.ai公司将进一步提高它的ai实力,有助于它抢夺2000亿美元的人工智能市场。
英特尔收购altera公司,为它的多种产品带来了现场可编程门阵列(fpga);它收购movidius和nervana公司,有助于支持它的实时处理组合产品。值得注意的是,nervana公司的网络神经处理器提供的ai性能据说是其竞争产品的10倍。这种处理器有望在2019年底开始生产。
“50年后,这将会成为我们公司最大的发展契机。”英特尔常务副总裁孙纳颐(navin shenoy)在该公司今年举办的数据中心创新峰会上说,“我们现在占有这个市场20%的份额。我们的战略是开辟一个数据中心技术的新时代。”(编译/乐学)

plaidml is the easiest, fastest way to learn and deploy deep learning on any device, especially those running macos or windows:
fastest: plaidml is often 10x faster (or more) than popular platforms (like tensorflow cpu) because it supports all gpus, independent of make and model.
plaidml accelerates deep learning on amd, intel, nvidia, arm, and embedded gpus.
easiest: plaidml is simple to install and supports multiple frontends (keras and onnx currently)
free: plaidml is completely open source and doesn't rely on any vendor libraries with proprietary and restrictive licenses.
for most platforms, getting started with accelerated deep learning is as easy as running a few commands (assuming you have python (v2 or v3) installed (if this doesn't work, see the installation instructions):
virtualenv plaidml
source plaidml/bin/activate
pip install plaidml-keras plaidbench
choose which accelerator you'd like to use (many computers, especially laptops, have multiple):
plaidml-setup
next, try benchmarking mobilenet inference performance:
plaidbench keras mobilenet
or, try training mobilenet:
plaidbench --batch-size 16 keras --train mobilenet
validated hardware
vertex.ai runs a comprehensive set of tests for each release against these hardware targets:
amd
r9 nano
rx 480
vega 10
nvidia
k80, gtx 780, gt 640m
gtx 1070, 1050
intel
hd4000
hd graphics 505
validated networks
we support all of the keras application networks from current versions of 2.x. validated networks are tested for performance and correctness as part of our continuous integration system.
cnns
inception v3
resnet50
vgg19
xception
mobilenet
densenet
shufflenet
lstm
examples/imdb_lstm.py (from keras)
 楼主| 发表于 2018-8-19 09:23:40 |
2018-04-04谷歌今天发布mobilenet重大更新,推出mobilenetv2,在结构上 使用 depthwise 可分离卷积为基础,在层与层之间增加了线性的bottleneck,并且bottleneck之间也增加了残差连接,因此速度更快,精度更高,更适合设备上处理。
mobilenetv2: inverted residuals and linear bottlenecks



轻量化网络:mobilenet-v2

 楼主| 发表于 2019-6-16 14:17:20 |
开源计算机图形学库--太极taichi
 楼主| 发表于 2019-6-24 17:27:25 |
capsnet 再升级!无监督学习图像特征,取得最先进结果

 楼主| 发表于 2019-7-21 07:11:49 |
想要了解图或图神经网络?没有比看论文更好的方式
机器之心 发布时间:2019-07-20 20:58
机器之心编辑 参与:思源
图嵌入、图表征、图分类、图神经网络,这篇文章将介绍你需要的图建模论文,当然它们都有配套实现的。
图是一种非常神奇的表示方式,生活中绝大多数的现象或情境都能用图来表示,例如人际关系网、道路交通网、信息互联网等等。正如马哲介绍事物具有普遍联系性,而图正好能捕捉这种联系,所以用它来描述这个世界是再好不过的方法。
但图这种结构化数据有个麻烦的地方,我们先要有图才能进行后续的计算。但图的搭建并不简单,目前也没有比较好的自动化方法,所以第一步还是需要挺多功夫的。只要各节点及边都确定了,那么图就是一种非常强大且复杂的工具,模型也能推断出图中的各种隐藏知识。
不同时期的图建模
其实,我们可以将图建模分为图神经网络与传统的图模型。其中以前的图建模主要借助 graph embedding 为不同的节点学习低维向量表征,这借鉴了 nlp 中词嵌入的思想。而图神经网络借助深度学习进行更强大的图运算与图表征。
graph embedding 算法聚焦在如何对网络节点进行低维向量表示,相似的节点在表征空间中更加接近。相比之下,gnn 最大的优势在于它不只可以对一个节点进行语义表示。
例如 gnn 可以表示子图的语义信息,将网络中一小部分节点构成的语义表示出来,这是以前 graph embedding 不容易做到的。gnn 还可以在整个图网络上进行信息传播、聚合等建模,也就是说它可以把图网络当成一个整体进行建模。此外,gnn 对单个节点的表示也可以做得更好,因为它可以更好地建模周围节点丰富信息。
在传统图建模中,随机游走、最短路径等图方法会利用符号知识,但这些方法并没有办法很好地利用每个节点的语义信息。而深度学习技术更擅长处理非结构文本、图像等数据。简言之,我们可以将 gnn 看做将深度学习技术应用到符号表示的图数据上,或者说是从非结构化数据扩展到了结构化数据。gnn 能够充分融合符号表示和低维向量表示,发挥两者优势。
图建模论文与代码
在 github 的一项开源工作中,开发者收集了图建模相关的论文与实现,并且从经典的 graph embedding、graph kernel 到图神经网络都有涉及。它们在图嵌入、图分类、图表征等领域都是非常重要的论文。
项目地址:
该项目主要收集的论文领域如下所示:
1. factorization
2. spectral and statistical fingerprints
3. graph neural network
4. graph kernels
因式分解法
learning graph representation via frequent subgraphs (sdm 2018)
dang nguyen, wei luo, tu dinh nguyen, svetha venkatesh, dinh phung
paper:
python:
anonymous walk embeddings (icml 2018)
sergey ivanov and evgeny burnaev
paper:
python:
graph2vec (mlgworkshop 2017)
annamalai narayanan, mahinthan chandramohan, lihui chen, yang liu, and santhoshkumar saminathan
paper:
python high performance:
python reference:
subgraph2vec (mlgworkshop 2016)
annamalai narayanan, mahinthan chandramohan, lihui chen, yang liu, and santhoshkumar saminathan
paper:
python high performance:
python reference:
rdf2vec: rdf graph embeddings for data mining (iswc 2016)
petar ristoski and heiko paulheim
paper:
python reference:
deep graph kernels (kdd 2015)
pinar yanardag and s.v.n. vishwanathan
paper:
python reference:
spectral and statistical fingerprints
a simple yet effective baseline for non-attribute graph classification (iclr rlpm 2019)
chen cai, yusu wang
paper:
python reference:
netlsd (kdd 2018)
anton tsitsulin, davide mottin, panagiotis karras, alex bronstein, and emmanuel müller
paper:
python reference:
a simple baseline algorithm for graph classification (relational representation learning, nips 2018)
nathan de lara and edouard pineau
paper:
python reference:
multi-graph multi-label learning based on entropy (entropy nips 2018)
zixuan zhu and yuhai zhao
paper:
python reference:
hunt for the unique, stable, sparse and fast feature learning on graphs (nips 2017)
saurabh verma and zhi-li zhang
paper:
python reference:
joint structure feature exploration and regularization for multi-task graph classification (tkde 2015)
shirui pan, jia wu, xingquan zhuy, chengqi zhang, and philip s. yuz
paper:
java reference:
netsimile: a scalable approach to size-independent network similarity (arxiv 2012)
michele berlingerio, danai koutra, tina eliassi-rad, and christos faloutsos
paper:
python:
图神经网络
self-attention graph pooling (icml 2019)
junhyun lee, inyeop lee, jaewoo kang
paper:
python reference:
variational recurrent neural networks for graph classification (iclr 2019)
edouard pineau, nathan de lara
paper:
python reference:
crystal graph neural networks for data mining in materials science (arxiv 2019)
takenori yamamoto
paper:
python reference:
explainability techniques for graph convolutional networks (icml 2019)
federico baldassarre, hossein azizpour
paper:
python reference:
semi-supervised graph classification: a hierarchical graph perspective (www 2019)
jia li, yu rong, hong cheng, helen meng, wenbing huang, and junzhou huang
paper:
python reference:
capsule graph neural network (iclr 2019)
zhang xinyi and lihui chen
paper:
python reference:
how powerful are graph neural networks? (iclr 2019)
keyulu xu, weihua hu, jure leskovec, stefanie jegelka
paper:
python reference:
weisfeiler and leman go neural: higher-order graph neural networks (aaai 2019)
christopher morris, martin ritzert, matthias fey, william l. hamilton, jan eric lenssen, gaurav rattan, and martin grohe
paper:
python reference:
capsule neural networks for graph classification using explicit tensorial graph representations (arxiv 2019)
marcelo daniel gutierrez mallea, peter meltzer, and peter j bentley
paper:
python reference:
three-dimensionally embedded graph convolutional network for molecule interpretation (arxiv 2018)
hyeoncheol cho and insung. s. choi
paper:
python reference:
learning graph-level representations with recurrent neural networks (arxiv 2018)
yu jin and joseph f. jaja
paper:
python reference:
graph capsule convolutional neural networks (icml 2018)
saurabh verma and zhi-li zhang
paper:
python reference:
graph classification using structural attention (kdd 2018)
john boaz lee, ryan rossi, and xiangnan kong
paper:
python pytorch reference:
graph convolutional policy network for goal-directed molecular graph generation (nips 2018)
jiaxuan you, bowen liu, rex ying, vijay pande, and jure leskovec
paper:
python reference:
hierarchical graph representation learning with differentiable pooling (nips 2018)
zhitao ying, jiaxuan you, christopher morris, xiang ren, will hamilton and jure leskovec
paper:
python reference:
contextual graph markov model: a deep and generative approach to graph processing (icml 2018)
davide bacciu, federico errica, and alessio micheli
paper:
python reference:
molgan: an implicit generative model for small molecular graphs (icml 2018)
nicola de cao and thomas kipf
paper:
python reference:
deeply learning molecular structure-property relationships using graph attention neural network (2018)
seongok ryu, jaechang lim, and woo youn kim
paper:
python reference:
compound-protein interaction prediction with end-to-end learning of neural networks for graphs and sequences (bioinformatics 2018)
masashi tsubaki, kentaro tomii, and jun sese
paper:
python reference:
python reference:
python alternative:
learning graph distances with message passing neural networks (icpr 2018)
pau riba, andreas fischer, josep llados, and alicia fornes
paper:
python reference:
edge attention-based multi-relational graph convolutional networks (2018)
chao shang, qinqing liu, ko-shin chen, jiangwen sun, jin lu, jinfeng yi and jinbo bi
paper:
python reference:
commonsense knowledge aware conversation generation with graph attention (ijcai-ecai 2018)
hao zhou, tom yang, minlie huang, haizhou zhao, jingfang xu and xiaoyan zhu
paper:
python reference:
residual gated graph convnets (iclr 2018)
xavier bresson and thomas laurent
paper:
python pytorch reference:
an end-to-end deep learning architecture for graph classification (aaai 2018)
muhan zhang, zhicheng cui, marion neumann and yixin chen
paper:
python tensorflow reference:
python pytorch reference:
matlab reference:
python alternative:
python alternative:
sgr: self-supervised spectral graph representation learning (kdd dlday 2018)
anton tsitsulin, davide mottin, panagiotis karra, alex bronstein and emmanueal müller
paper:
python reference:
deep learning with topological signatures (nips 2017)
christoph hofer, roland kwitt, marc niethammer, and andreas uhl
paper:
python reference:
dynamic edge-conditioned filters in convolutional neural networks on graphs (cvpr 2017)
martin simonovsky and nikos komodakis
paper:
python reference:
deriving neural architectures from sequence and graph kernels (icml 2017)
tao lei, wengong jin, regina barzilay, and tommi jaakkola
paper:
python reference:
protein interface prediction using graph convolutional networks (nips 2017)
alex fout, jonathon byrd, basir shariat and asa ben-hur
paper:
python reference:
graph classification with 2d convolutional neural networks (2017)
antoine j.-p. tixier, giannis nikolentzos, polykarpos meladianos and michalis vazirgiannis
paper:
python reference:
cayleynets: graph convolutional neural networks with complex rational spectral filters (ieee tsp 2017)
ron levie, federico monti, xavier bresson, michael m. bronstein
paper:
python reference:
semi-supervised learning of hierarchical representations of molecules using neural message passing (2017)
hai nguyen, shin-ichi maeda, kenta oono
paper:
python reference:
kernel graph convolutional neural networks (2017)
giannis nikolentzos, polykarpos meladianos, antoine jean-pierre tixier, konstantinos skianis, michalis vazirgiannis
paper:
python reference:
deep topology classification: a new approach for massive graph classification (ieee big data 2016)
stephen bonner, john brennan, georgios theodoropoulos, ibad kureshi, andrew stephen mcgough
paper:
python reference:
learning convolutional neural networks for graphs (icml 2016)
mathias niepert, mohamed ahmed, konstantin kutzkov
paper:
python reference:
gated graph sequence neural networks (iclr 2016)
yujia li, daniel tarlow, marc brockschmidt, richard zemel
paper:
python tensorflow:
python pytorch:
python reference:
convolutional networks on graphs for learning molecular fingerprints (nips 2015)
david duvenaud, dougal maclaurin, jorge aguilera-iparraguirre, rafael gómez-bombarelli, timothy hirzel, alán aspuru-guzik, and ryan p. adams
paper:
python reference:
python reference:
python reference:
python reference:
graph kernels
message passing graph kernels (2018)
giannis nikolentzos, michalis vazirgiannis
paper:
python reference:
matching node embeddings for graph similarity (aaai 2017)
giannis nikolentzos, polykarpos meladianos, and michalis vazirgiannis
paper:
global weisfeiler-lehman graph kernels (2017)
christopher morris, kristian kersting and petra mutzel
paper:
c reference:
on valid optimal assignment kernels and applications to graph classification (2016)
nils kriege, pierre-louis giscard, richard wilson
paper:
java reference:
efficient comparison of massive graphs through the use of ‘graph fingerprints’ (mlgworkshop 2016)
stephen bonner, john brennan, and a. stephen mcgough
paper:
python reference:
the multiscale laplacian graph kernel (nips 2016)
risi kondor and horace pan
paper:
c reference:
faster kernels for graphs with continuous attributes (icdm 2016)
christopher morris, nils m. kriege, kristian kersting and petra mutzel
paper:
python reference:
propagation kernels: efficient graph kernels from propagated information (machine learning 2016)
neumann, marion and garnett, roman and bauckhage, christian and kersting, kristian
paper:
matlab reference:
halting random walk kernels (nips 2015)
mahito sugiyama and karsten m. borgward
paper:
c reference:
scalable kernels for graphs with continuous attributes (nips 2013)
aasa feragen, niklas kasenburg, jens petersen, marleen de bruijne and karsten borgwardt
paper:
subgraph matching kernels for attributed graphs (icml 2012)
nils kriege and petra mutzel
paper:
python reference:
nested subtree hash kernels for large-scale graph classification over streams (icdm 2012)
bin li, xingquan zhu, lianhua chi, chengqi zhang
paper:
python reference:
weisfeiler-lehman graph kernels (jmlr 2011)
nino shervashidze, pascal schweitzer, erik jan van leeuwen, kurt mehlhorn, and karsten m. borgwardt
paper:
python reference:
python reference:
c reference:
fast neighborhood subgraph pairwise distance kernel (icml 2010)
fabrizio costa and kurt de grave
paper:
c reference:
python reference:
a linear-time graph kernel (icdm 2009)
shohei hido and hisashi kashima
paper:
python reference:
weisfeiler-lehman subtree kernels (nips 2009)
nino shervashidze, pascal schweitzer, erik jan van leeuwen, kurt mehlhorn, and karsten m. borgwardt
paper:
python reference:
python reference:
c reference:
fast computation of graph kernels (nips 2006)
s. v. n. vishwanathan, karsten m. borgwardt, and nicol n. schraudolph
paper:
python reference:
c reference:
shortest-path kernels on graphs (icdm 2005)
karsten m. borgwardt and hans-peter kriegel
paper:
c reference:
cyclic pattern kernels for predictive graph mining (kdd 2004)
tamás horváth, thomas grtner, and stefan wrobel
paper:
python reference:
extensions of marginalized graph kernels (icml 2004)
pierre mahe, nobuhisa ueda, tatsuya akutsu, jean-luc perret, and jean-philippe vert
paper:
python reference:
marginalized kernels between labeled graphs (icml 2003)
hisashi kashima, koji tsuda, and akihiro inokuchi
paper:
python reference:

 楼主| 发表于 2019-7-29 21:20:42 |


三次创业,三次跨界,凭十万行核心c代码登顶 github
2019-07-29来源: csdn关键字:tdengine  github



7月28日周日下午,大暑刚过的北京,热得愈加肆意。编者来到在涛思数据联合csdn举办的「tdengine 和他的小伙伴们」的beijing meetup现场时,陶建辉正在答观众问。

突然,编者被一位20来岁的小姑娘热心提醒可以坐下听。攀谈几句,得知姑娘是留学伦敦的电子工程毕业生,趁放暑假来这里做志愿者。

不仅志愿者很高大上,涛思数据的团队也很“高配”:3位博士,4位海归。他们最近斩获超级喜讯一枚:仅有十人的涛思数据团队,在github开源的tdengine,连续数天雄踞榜首。

那么,这是怎样的一个项目?又是怎样的一个团队?团队背后的创始人有着怎样的经历?应csdn邀约,创始人陶建辉亲自撰写本文,为你答疑解惑,赶快往下看吧!



大家在看100亿条记录查询的现场演示

7月12日,涛思数据宣布将tdengine开源,10多万行c代码,包括最核心的存储引擎和计算引擎都上传到了github上。

整整两周时间,github上star已经超过7300,fork数已经超过1800,在开发者社区中获得的反响远超预期。应开发者要求,7月28日在北京进行了一次线下交流,现场互动十分热烈。



yd2333云顶电子游戏的线下活动现场

很多人好奇,为什么一个从没研发过大数据,也没研发过数据库软件的人,能研发物联网大数据平台软件?

而且你怎么想到要开发这样软件的?你三次创业,每次都在跨界,怎么能做到的?

7月28日,我把创业过程中的思考和分析分享出来,供在创业路上的朋友特别是技术型创业者参考。

2016年初,我上家创业公司快乐妈咪被收购,一下就轻松下来。但总有很多朋友拉我去看项目,有想让我投资的,有想让我加入团队的。

因为我在智能硬件圈子里有一定名气,因此看的最多的还是智能硬件、物联网相关的项目。花了自己不少时间仔细琢磨的有好几个项目。

第一个就是菜市场的智能秤,希望通过智能秤将菜市场的信息流完全打通,打造一个不亚于美团的平台出来;

第二个就是养殖物联网,希望对投料机进行自动控制,对养殖的鱼塘的环境进行监测,通过物联网将饲料、养殖、水产销售打通,形成平台;

第三个是电梯物联网,系统通过监测,由按期保修变成按需保修,而且建立全国性的电梯维保平台。

还有智能家居等好几个,但最终没有一个打动我,让我投入进去。因为我分析这些项目之后,发现他们成功的关键因素,都不是我或者现有团队具备的。

但这些项目让我看到了物联网的前景,看到万物互联是不可阻挡的潮流,一定要抓住。我一个强技术背景,没有多少行业资源的人,能在这股潮流里找到什么样的机会?

我的第一反应就是研发一个物联网平台,但仔细一看,从it巨头如微软、ibm、 oracle、亚马逊,到工业巨头如ge、siemens等等,无不有自己的物联网平台,特别是仔细看完ge的predix,发现自己能想到的东西都被它做了。

再看国内,做物联网平台的公司就更多了,海尔、三一、徐工、阿里、百度等等,就更不用提无数startup了。心一下就凉了,这个物联网平台是绝不能做了,要做就是瞎折腾,唯一的可能性是紧靠一行业资源,靠行业特性和市场资源取胜,但我偏偏没有多少行业背景和资源。

但在仔细看完很多物联网平台的资料后,终于发现了一丝曙光,那就是数据处理。物联网平台里模块很多,但其中很重要的一块就是数据处理,包括采集、存储、查询、分析和计算,是整个物联网行业里面比较共性的部分,个性化程度不高。

再仔细一看,大部分物联网平台,尤其是国内的,几乎无一例外的用的是hadoop生态搭建的,用的是互联网行业流行的大数据架构,采集进来的数据先进kafka, 然后分流进hbase/cassandra/mongodb等做持久化存储,进redis做缓存,进spark/flink等做流式计算,后面再接应用、大屏展示等等。

虽然我没有真正接触过大数据的处理,但了解这些通用的大数据框架后,我的第一反应就是,hadoop这套体系太重,至少对于物联网大数据而言如此。

搭建一个平台,居然要好多款开源软件拼接在一起,研发、运维效率会很低,数据一致性很难保证,定位一个问题牵涉的环节太多,很不适合私有化部署。

将各种物联网场景抽象出来,我总结出了物联网数据的十二大特点:

数据是时序的,一定带有时间戳;

数据是结构化的;

数据极少有更新或删除操作;

数据源是唯一的;

相对互联网应用,写多读少;

用户关注的是一段时间的趋势,而不是某一特点时间点的值;

数据是有保留期限的;

数据的查询分析一定是基于时间段和地理区域的;

除存储查询外,还往往需要各种统计和实时计算操作;

流量平稳,可以预测;

往往需要有插值等一些特殊的计算;

数据量巨大,一天采集的数据就可以超过100亿条。

总结出这些特点后,一下豁然开朗,觉得采用hadoop这些开源软件来处理物联网数据完全是大错特错。

物联网数据像日志数据,几乎没有更新操作的可能,那数据库中的事务处理的实现就完全多余;数据是时序的,时间戳自然可以作为主键,根本不需要复杂的索引结构;物联网数据是结构化的,像hbase、cassandra那样用key-value来存储,计算效率和存储效率大打折扣,应该采用结构化存储才行;物联网数据的冷热程度是时间决定的,刚采集的数据是最热的,而不是用户点击决定。

因此用简单的先进先出的内存管理就能很好的实现高效的缓存,根本就不需要redis;物联网数据从一个设备来看,就是一个数据流,实现滑动窗口的流计算那不是一个最顺其自然的事情,哪用得上spark这么复杂的引擎;对于数据分区,简单的按设备分区按时间段分区,就轻松解决,根本就不需要复杂的分区机制;物联网数据流是相对平稳的,而且物联网设备本身一定有缓存能力,完全可以抛弃kafka这些套件,实现一个简单的消息队列和数据订阅来满足需求。

随后又发现有时序数据库,马上看他们文档和代码,发现他们利用了时序数据一些特点,但还是没有充分利用,而且只是定位为一个数据库。

后面又了解到工业界有实时数据库,发现这些实时数据库都是老古董产品了,基本上都还是windows上研发,价格贵,而且没有标准sql,水平扩展几乎没有,大数据分析能力几乎没有,完全没有能力应对日益增长的大数据量和大数据分析需求,迟早会被淘汰。

我做完分析后很兴奋,觉得找到了一空白点。但我自己有没有能力研发这产品?仔细一琢磨,还是兴奋。

2008年,我创办和信,推送平台除推送之外,一个重要的模块就是消息队列。2009年,我们就研发了一个分布式高可靠、持久化存储的消息队列,每台手机需要推送的消息就放在一个队列里。消息队列与物联网的时序数据有区别吗?本质上没有。

一个是非结构化的,一个是结构化的;一个是简单的进和出,但另外一个是需要有分析和计算的;两者在系统的架构设计上没有大的不同。

考虑到必须设计成分布式系统,因为多年通讯设备研发背景,对我那是轻车熟路。因此,我应该具备所需要的知识储备和技能,自己多年积累的研发经验全部能派上用场 。

因此我迅速定位了自己要做的产品,那就是物联网大数据平台,要把时序数据库、缓存、消息订阅、流式计算等系列功能融合在一起,一站式的解决物联网大数据问题,这样才能将系统研发、维护的复杂度与成本大幅降低。

前面两次创业,都是2c产品,让我养成了追求简单极致的习惯,马上又定下采用sql接口,能通过jdbc接口与众多第三方工具无缝集成,安装部署要一键搞定的策略,目的是要让开发者用起来轻松,完全没有学习成本。

研究物联网数据的特点后,我想到了两个技术创新点,一是“一台设备一张表”的数据模型来极大提高单台设备的数据插入和查询效率,  二是给每张表打静态标签,将静态标签数据与采集的动态数据完全分开存储,来解决多表聚合查询问题。

想明白这些后,2016年底,接近50岁的我决定亲自写程序开干。为什么不找人呢?几个原因:

自己做技术多年,有个心结,就是希望自己写的代码能被无数的人使用;

开发难度大,特别是分布式,如果我自己不把主要框架搭完,把存储引擎写好,那团队效率会很低;

这个产品的核心是技术,如果自己不重度参与研发,那公司会很危险。

我准备动手写的时候,告诉太太,如果我写的存储引擎在数据插入、查询速度上不比其他数据库好五倍以上,就当做我又写了一段好玩的程序。

如果能达到五倍以上,那我就要再折腾一次。 因为在我的眼里,技术型的产品,要打败市场上现有的厂商,如果没有五倍以上的优势,那完全没有必要做,因为对方有人、有钱,有客户群,你凭什么与对方开战?

幸运的是,我2个月时间,写完一万八千多行代码,完全证明凭借我的两大创新,性能上可以秒杀市场上现有产品,因此就有了今天的tdengine。



涛思数据团队,左三为陶建辉儿子(00后一枚),tdengine项目其亦有贡献

研发底层基础软件,开发难,推广更难。即使功能、性能比现有产品好一个数量级,客户还是会以安全性和稳定性为由拒绝你,因此我想到应该用开源的方式,把最核心的代码和详细的设计都晒出来,让更多的程序员参与进来,将开发者社区建立起来。

活跃的开发者社区能让所有大客户都感觉到所选的技术不会被抛弃,不会有重大安全漏洞, 可放心使用。

另外一方面,很多中小企业客户数据量不大,技术上有很多选择,如果不开源,他们就会选择一些其他的开源方案。

本来就赚不到他们的钱,那为何不开源给他们,让他们免费用呢?不仅要让大家免费用,我们还要组织一个不小的团队来运营,与各种背景的开发者互动,回答他们的疑问,让他们得到云顶集团官方网站入口的技术支持和帮助,更希望他们参与进来,有荣誉感和自豪感,他们才可能发自内心地传播。

同时,通过开源,可以快速获得市场对产品的反馈,了解市场的需求,这是一件多好的事情,因此毫无犹豫的决定开源。

大数据平台、物联网平台和数据库都已经有很多主流产品,挑战他们是一件困难的事情。而专为物联网打造的大数据平台,目前还没有,tdengine在全球是第一家。

物联网的市场在高速增长,采集的数据量更是指数式的上升,5年的时间,世界上90%的数据都会是物联网类型的数据,这个细分市场一定会成为一个主流市场。

只要涛思数据团队继续努力,抱着开放、合作的态度,充分利用开源打造出技术生态,同时与全球的系统集成商、独立软件开发商、渠道等合作,积极的构建出商业生态,那tdengine一定有成为独角兽的一天。

喜欢丘吉尔说的一句话,“success is not final, failure is not fatal, it is the courage to continue that counts”,继续奔跑吧,伙伴们!

作者简介:陶建辉,1986年考入中国科大,1994年到美国印第安纳大学攻读天体物理博士,曾在美国芝加哥motorola、3com等公司从事无线互联网的研发工作,是高可靠分布式系统、即时通信、消息队列等方面的顶尖技术专家。2008年,回国创办和信,专注移动互联网ip push和ip实时消息服务,2010年被台湾联发科收购。2013年再度创业,创办专注母婴智能硬件和母婴健康服务的快乐妈咪。2016年,快乐妈咪被太平洋网络收购。2017年,再次走向战场,创办涛思数据,专注时序空间数据的实时高效的处理,其自主研发的产品tdengine,性能优于其他业内标杆10倍以上,可广泛运用于物联网、工业大数据、车联网领域。2019年7月,tdengine开源,在github全球趋势排行榜上连续几天排名第一。
 楼主| 发表于 2020-2-28 09:55:43 |
零基础让普通mcu跑人工智能!法国ai创企开发无监督学习软件系统

智东西
发布时间:2020-02-2719:56智能行业媒体官方帐号
芯东西(id:aichip001)编 | 韦世玮
芯东西2月27日消息,电气和电子工程师协会(ieee)在其yd2333云顶电子游戏官网分享了一家名为cartesiam的法国b2b软件开发公司的研发成果,该公司创立于2016年,主要面向人工智能(ai)研发嵌入式系统,让普通的arm微控制器都能运行无监督学习ai。
在几年前,随着物联网传感器和产品的泛滥,人们曾认为这些数据将通过数百亿个智能传感器传递到云端,接着云端的ai和其他软件系统将对数据进行理解并处理。
但这在cartesiam联合创始人兼总经理marc dupaquier看来,这个数据处理方案并不可行。
“从能源和成本的角度来看,传输所有的数据将耗费较高的成本,同时还增加了事件和系统反馈之间的等待时间,危及数据的隐私和使用,因此它也并不安全。“marc dupaquier说到。
而这,也成为了cartesiam成立的缘由。2017年,该公司成立研发团队,计划重写所有机器学习和信号处理算法,以便用户可以在任何arm cortex m微控制器中去执行ai算法。
▲cartesiam公司的四位云顶集团官方网站入口的合作伙伴
一、无需专业知识就可实现机器学习推理和预测
marc dupaquier认为,将ai放在边缘端进行处理,是cartesiam等一些创企和大公司长期以来的目标之一。
“但就工具、数据和专业知识而言,实际构建嵌入式系统和程序微控制器的研发人员,却无法很好地利用它。”marc dupaquier谈到。
因此,cartesiam研发了一个名为nanoedge ai studio的软件系统,该系统能够安全地生成ai算法,并且生成的算法只需两分钟就可在arm微处理器上运行,容量大小仅为4~16kb ram。
具体来说,nanoedge ai studio软件yd2333云顶电子游戏的解决方案能够在windows 10或linux ubuntu系统上运行,帮助开发人员轻松地生成机器学习静态库,以嵌入在任何arm微控制器上运行的主程序中,并直接在微控制器内部进行机器学习、推理和预测。
实际上,整个使用过程,几乎都无需研发人员具备数学、机器学习、数据科学等其他神经网络知识。其中,系统生成的机器学习静态库包含一个ai模型,该模型能够在学习阶段逐步收集信息,从而能够检测到潜在的异常及其行为,并对其进行预测。
▲nanoedge ai studio软件yd2333云顶电子游戏的解决方案操作示例
二、深度学习需求数据量大,专业开发人员短缺
marc dupaquier表示,nanoedge ai studio能够让任何嵌入式设计人员,都能快速开发特定应用程序的机器学习库,并在微控制器内部运行程序。
“其中涉及到的机器学习类型就是无监督学习,实际上它是我们公司取得成功的关键。”marc dupaquier说。
无监督学习属于机器学习的子类,通常用于大量无标签的数据挖掘,其训练数据没有人工提前去进行标注,需要机器自己通过某一特征去寻找海量数据中的相关结构。
而现在大部分人脸识别或路标识别的机器学习,都属于卷积神经网络,即深度学习。深度学习需要通过数据集进行成百上千次训练,并在训练完成后被移植到功能较弱的计算机中。
但marc dupaquier认为,在微控制器控制的传感器领域中,深度学习所需要的大量被标注数据集很难生成,同时数据科学领域的ai专业人才又十分稀少。
根据市场研究机构idc数据,即使生成的数据能够使用,但只有不到1%的嵌入式开发人员拥有ai技能。与此同时,marc dupaquier透露公司的大多数客户也并不了解ai。
因此,cartesiam研发的nanoedge ai studio软件系统,则尝试通过利用无监督学习技术,来解决研究人员在以往深度学习训练过程中所面临的标记数据集问题。
三、无监督学习的数字孪生样本应用
基于深度学习的大量数据需求,以及具备专业ai技能的嵌入式开发人员短缺,cartesiam的nanoedge ai studio软件系统采用的无监督学习方案,则很好地解决了这一困境。
据了解,nanoedge ai studio的无监督学习能够为传感器提供数字孪生样本,分别为两分钟的正常操作样本和异常操作样本。同时,该系统还能帮助用户选择最佳的ai算法来构建网络,并将这些算法移植到嵌入式控制器的内存中。
当传感器在环境中运行时,它会同时检测正常情况,并观察数据中是有存在有意义的偏差。最终,它还能够在问题出现之前进行预测。
值得一提的是,cartesiam已经与许多利用arm cortex-m来制造设备公司建立了合作关系,其中就包括法国专业级工业电子制造商eolane。
eolane与cartesiam合作推出了一款名为bob assistant的温度/振动传感器,主要用于预测工业维修。目前,该yd2333云顶电子游戏的解决方案已经被许多欧洲客户所采用,成为首个大规模部署的工业4.0预测性维护yd2333云顶电子游戏的解决方案。
▲bob assistant
marc dupaquier谈到,由于周围环境的特殊性,每个传感器的微处理器上的神经网络可能会有所不同。“因为学习是在设备上进行的,所以它将学习该机器的运作模式。同时,ai也正在将机器的数字孪生植入到微控制器中。”他谈到。
结语:助力低功耗芯片的机器学习应用
将机器学习嵌入低功耗、低资源处理器中,是许多创企和半导体公司的一直以来不断精进研发和创新的动力之一。
实际上,很多公司也正在使用专门的计算机架构、内存计算方案和其他硬件技术,以生产运行深度学习和其他网络的低功耗芯片。

今年2月初,arm也推出了一款机器学习加速处理器cortex-m5,其数字信号处理器性能提升了5倍,机器学习性能提升至15倍。同时,它与微神经网络处理器ethos u55配合使用,还能将机器学习性能提高480倍。
值得一提的是,arm透露cartesiam已经获得了测试新硬件的机会。届时,arm的新款机器学习处理器与cartesiam的nanoedge ai studio软件系统,又将擦出什么火花?我们拭目以待。
文章来源:ieee、cartesiam
嵌入式mcu也能跑ai?stm32 cube.ai工具包使用初探


 楼主| 发表于 2020-3-13 16:47:37 |
今日 paper|弱监督目标的定位;递归残差卷积神经网络;嵌套u-net结构;超强小目标检测等


雷锋网
发布时间:03-1315:31深圳英鹏信息技术股份有限公司
目录
重新思考通往弱监督目标的定位
基于u-net(r2u-net)的递归残差卷积神经网络在医学图像分割中的应用
unet : 一种医学图像分割的嵌套u-net结构
使用基于双谱的深度卷积神经网络对非线性时间序列进行分类
hattention-rpn和multi-relation的超强小目标检测
重新思考通往弱监督目标的定位
论文名称:rethinkingthe route towards weakly supervisedobject localization
作者:chen-lin zhang
发表时间:2020/3/3
论文链接:
推荐原因
本文为2020cvpr的文章。针对目前弱监督目标定位方法的问题,本论文提出了伪监督目标定位方法(psol)来解决当下研究的困境。作者分别从定位和分类两方面来搭建伪监督目标定位的网络,接着在训练集上使用deep descriptor transformation(ddt)生成伪gt进行训练,整体效果达到sota。
该论文主要有三点贡献:
一、提出了伪监督目标定位psol算法;
二、通过实验验证,该算法在不同数据集上不需要fine-tuning也能有很好的定位迁移能力。


基于u-net(r2u-net)的递归残差卷积神经网络在医学图像分割中的应用
论文名称:recurrent residual convolutional neural network based on u-net (r2u-net) for medical image segmentation
作者:alom md zahangir /hasan mahmudul /yakopcic chris /taha tarek m. /asari vijayan k.
发表时间:2018/2/20
论文链接:
推荐原因
本文作者提出了一种基于u-net的递归卷积神经网络(rcnn)和一种基于u-net模型的递归残差卷积神经网络(rrcnn),分别称为ru-net和r2u-net。提出的模型利用了u-net,残差网络和rcnn。首先,残差单元在训练深度架构时会有所帮助。其次,具有递归残差卷积层的特征对分割任务具有更好的特征表示。第三,它使我们能够设计出具有相同数量网络参数的更好u-net架构,并具有更好的医学图像分割性能。


unet : 一种医学图像分割的嵌套u-net结构
论文名称:unet : a nested u-net architecture for medical image segmentation
作者:zongwei zhou / md mahfuzur rahman siddiquee / nima tajbakhsh / jianming liang
发表时间:2018/7/18
论文链接:
推荐原因
文章是2018年在miccai中发表的unet ,对unet改进的点主要是skip connection。作者认为skip connection 直接将unet中encoder的浅层特征与decoder的深层特征结合是不妥当的,会产生semantic gap。整篇文章的一个假设就是,当所结合的浅层特征与深层特征是semantically similar时,网络的优化问题就会更简单,因此文章对skip connection的改进就是想bridge/reduce 这个semantic gap。


使用基于双谱的深度卷积神经网络对非线性时间序列进行分类
论文名称:nonlinear time series classification using bispectrum-based deep convolutional neural networks
作者:paul a. parker /scott h. holan /nalini ravishanker
发表时间:2020/3/4
论文链接:
推荐原因
1 核心问题:
在时间序列的分析上,学术界已经拥有丰富的研究基础和历史,由于假设基本过程为线性,绝大多数现有的方法只依赖于时间序列的一阶和二阶属性。然而,非线性数据在现实世界却普遍存在,针对此种情况,本文主要解决了对非线性时间序列分类的问题。
2 创新点:
此前,并没有使用高阶频谱分析(hosa)对商业和工业的时间序列数据进行统计分类的相关研究。本文主要提出一种将高阶频谱分析(hosa)和深度神经网络(dcnn)结合起来,对非线性时间序列进行分类的方法。同时,还利用了贝叶斯神经网络,对非线性时间序列数据进行不确定性度量。在实验部分,本文(1)实现了谷歌趋势数据的分类(2)实现了基于用电耗费量对家庭电器的分类。
3 研究意义:
面对非线性时间序列的现有有效分类方法的不足,以及非线性时间序列数据在现实生活中普遍存在的事实,本文提出了一种非线性时间序列分类的方法。此方法(1)有利于不确定度量(2)可以容纳高维数据结构,避免进行高耗费的蒙特卡洛马尔可夫链的计算(3)实现了特征提取的变体,此变体可以通过识别用来确定类别概率的关键频率来进行推理。


hattention-rpn和multi-relation的超强小目标检测
论文名称:few-shot object detection with attention-rpn and multi-relation detector
作者:qi fan
发表时间:2019/12/23
论文链接:
推荐原因
研究意义:
本文主要研究的是如何对少样本目标进行检测,在此基础上,作者提出了一种包括attention-rpn、多关系检测器以及对比训练策略的检测算法,为后续研究提供了新的思路。
创新点:
1、提出了新的少样本目标检测算法,创新点包括attention-rpn、多关系检测器以及对比训练策略。
2、构建了包含1000类的少样本检测数据集fsod,在fsod上训练得到的论文模型能够直接迁移到新类别的检测中,不需要fine-tune。


雷锋网
 楼主| 发表于 2020-3-15 08:51:36 |
谷歌automl鼻祖新作automl-zero:从零开始构建机器学习算法


新智元
发布时间:03-1318:20北京中经智元广告有限公司

【新智元导读】市面上的自动机器学习算法多如牛毛,但并没有得到很好的普及,因为这些算法限制了搜索的空间,很多研究者还是需要自己设计机器学习模型的结构,而谷歌此次发布的automl-zero搜索空间完全没有限制,可以从最基础的数学公式开始。「新智元急聘主笔、编辑、运营经理、客户经理,添加hr微信(dr-wly)了解详情。」
automl 试图将特征工程、模型选择、参数调节这些与特征、模型、优化、评价有关的重要步骤进行自动化地学习,使得机器学习模型无需人工干预即可生成。谷歌这次提出的方法跟以往的有何不同呢?
新方法可自动搜索新算法,仅利用基本的数学公式
automl-zero 旨在自动发现机器学习算法,从空的或随机的程序开始,只使用基本的数学运算。它可以同时无偏好地搜索机器学习算法的所有方面,包括模型结构和学习策略。
尽管 automl-zero 的搜索域很广,但进化搜索看起来表现不错,通过搜索发现了线性回归、带有反向传播的双层神经网络,甚至是超过手工设计的复杂度相当的基线算法。

上面的图显示了我们实验中的一个例子,可以看到演化算法是如何来一步步解决二分类任务的。首先是个线性模型,没有任何优化方法,然后逐步发现了 sgd 来进行优化,接着开始加入随机的学习率,再往后发现了relu激活函数,随机权重初始化,梯度归一化等等,越来越接近我们手工设计的网络结构和优化方法。

如果想了解更多的细节可以去论文中查找。原文链接:
几乎从零开始,跟传统的组装型自动机器学习区别很大
我们手工构建一个典型的机器学习模型,要经过以下几个步骤,数据预处理、模型构建、学习、预测,而 automl-zero 的工作原理,可以简单理解为将各个步骤涉及的基本数学方法放在一个篮子里,然后随机从篮子取出放在对应的步骤,利用进化搜索,不断得到最优的组合。
automl-zero 跟之前的自动机器学习有什么异同呢?之前的自动学习主要集中在体系结构上,它依赖于专家设计的复杂层作为构建块——或类似的限制性搜索空间。我们的目标是证明 automl 可以走得更远: 只需使用基本的数学运算作为构建块,来发现一个完整的机器学习方法, 我们通过引入一个新的框架来证明这一点,在这个搜索空间中可以显著减少人类经验的偏见,发现一些有趣的东西。
我们用 auto-sklearn 来解释下传统的自动机器学习所使用的方法,对细节感兴趣的同学可以看下这篇论文。

原文链接:
作者开发了一个基于 scikit-learn 的强大的新 automl 系统(使用 15 个分类器,14 个特征预处理方法和 4 种数据预处理方法,从而产生具有 110 个超参数的结构化搜索空间)。这个系统是在有限的参数空间中,通过自动对比在类似数据集上的性能,以及评估这些自动构造的模型性能,来实现自动搜索最优的机器学习方法。
如何用python实现传统的automl
到这里你应该理解了,automl-zero 的普适性更强一些,可以发现未知的机器学习方法,而 auto-sklearn 只是在现有的结构和参数中自动找到最优的。
我们用 python 来举个简单的例子:
import autosklearn.classificationimport sklearn.model_selectionimport sklearn.datasetsimport sklearn.metricsx, y = sklearn.datasets.load_digits(return_x_y=true)x_train, x_test, y_train, y_test = \sklearn.model_selection.train_test_split(x, y, random_state=1)automl = autosklearn.classification.autosklearnclassifier()automl.fit(x_train, y_train)y_hat = automl.predict(x_test)print("accuracy score", sklearn.metrics.accuracy_score(y_test, y_hat))
如果想亲自动手实验的话可以安装 anaconda ,它集成了所需要的大部分python科学计算库,然后通过conda安装 auto-sklearn。
 楼主| 发表于 2020-3-20 19:56:38 |
设计时间缩短10倍,ppa提升20%,ai终于要革新芯片设计了

雷锋网
发布时间:03-2018:41深圳英鹏信息技术股份有限公司
ai芯片支撑了ai变革了众多行业,但芯片自动化设计工具eda自1993年之后就放缓了创新的步伐,随着半导体制造工艺的演进,芯片设计以及eda工具们面临着越来越大的挑战。
好消息是,全球两大eda巨头synopsys和cadence相继发布了采用ai的设计工具,可以缩短芯片的设计时间高达10倍,芯片ppa提升20%。
两大eda巨头产品相继引入ai
上周,synopsys宣布推出首个用于芯片设计的自主ai应用程序——dso.ai(design space optimization ai)。这个ai推理引擎能够在芯片设计的巨大求解空间里搜索优化目标。
根据三星设计平台开发部执行副总裁jaehong park的说法,原本需要多位设计专家耗时一个多月才可完成的设计,dso.ai只要短短3天即可完成。
dso.ai做了什么?如今,芯片设计是一个蕴藏着许多可优化方案的巨大求解空间,其求解空间的规模是围棋的数万亿倍。但要在如此巨大的空间进行搜索是一项非常费力的工作,在现有经验和系统知识的指导下仍需要数周的实验时间。
除此之外,芯片设计流程往往会消耗并生成数tb的高维数据,这些数据通常在众多单独优化的孤岛上进行区分和分段。要创建最佳设计方案,开发者必须获取大量的高速数据,并在分析不全面的情况下,即时做出极具挑战的决策,这通常会导致决策疲劳和过度的设计约束。
dso.ai引擎所做的,是通过获取由芯片设计工具生成的大数据流,并用其来探索搜索空间、观察设计随时间的演变情况,同时调整设计选择、技术参数和工作流程,以指导探索过程向多维优化的目标发展。
这个引擎使用了synopsys研发团队发明的机器学期来执行大规模搜索任务,自主运行成千上万的探索矢量,并实时获取千兆字节的高速设计分析数据。
通过两年多与学界以及产业界的合作,借助dso.ai可以得到更加优化的设计yd2333云顶电子游戏的解决方案,加速芯片的上市时间,并且还能够降低芯片的设计和制造总体成本。
本周三,另一大eda巨头cadence也宣布推出已经过数百次先进工艺节点成功流片验证的新版cadence数字全流程,进一步优化功耗,性能和面积,广泛应用于汽车,移动,网络,高性能计算和人工智能(ai)等各个领域。
这一新版的流程采用了支持机器学习(ml)功能的统一布局布线和物理优化引擎等多项业界首创技术,吞吐量最高提升3倍,ppa最高提升20%,助力实现卓越设计。ml功能可以让用户用现有设计训练cadence数字全流程ispatial优化技术,实现传统布局布线流程设计裕度的最小化。
mediatek公司计算和人工智能技术事业部总经理dr. sa hwang说:“通过innovus设计实现系统gigaopt优化器工具新增的ml能力,我们得以快速完成cpu核心的自动训练,提高最大频率,并将时序总负余量降低80%。签核设计收敛的总周转时间可以缩短2倍。”
三星电子代工设计平台开发执行副总裁jaehong park则表示,“cadence数字全流程的ispatial技术可以精确预测完整布局对ppa的优化幅度,实现rtl,设计约束和布局布线的快速迭代,总功耗减少6%,且设计周转时间加快3倍。同时,cadence独特的ml能力让我们在samsung foundry的4nm euv节点训练设计模型,实现了5%额外性能提升和5%漏电功率减少。”
芯片设计终于迎来变革
eda(electronic design automation,电子设计自动化),是指利用计算机辅助设计(cad)软件来完成超大规模集成电路(vlsi)芯片的功能设计、综合、验证、物理设计(包括布局、布线、版图、设计规则检查等)等流程的设计方式。
在eda出现之前,设计人员必须手工完成集成电路的设计、布线等工作,物理设计人员需要处理每一个晶体管,甚至是那些组成逻辑门(如nand、nor以及其他逻辑功能等)的晶体管。但随着摩尔定律的发展,更大、性能也更强的芯片(die)被制造出来,再让设计者们处理每一个晶体管变得越来越不现实。
于是,整个产业把目光转向了抽象化(abstraction)——即在一个更高的层次上进行设计,而把那些底层的细节都归并到库和cae(computer aided engineering,计算机辅助工程)工具中——就类似于软件产业所做的事情。
cae系统配备了专门用于ic设计的硬件和软件的计算机,但当时能够使用计算机辅助设计(cad,computer aided design)的只有实力强大的半导体公司的团队,这些团队中的设计人员技艺精湛,擅长复杂的逻辑和物理设计、库和过程开发、封装以及其他一些专业方面。
专用集成电路(asics,applicationspecific ics)的出现改变了这一情形,asic可以让设计者们不需要了解ic的物理版图、加工工艺,或者说,事实上他们根本不需了解任何非数字层面的东西,让更多的人可以追逐摩尔定律的浪潮。
设计自动化行业认识到了这一点, 并创造了一些半定制和定制( semi-customandcustom)方法,使得系统设计师们不需要达到cad工程师那样的理解水平就能设计硅片。当然,通过支持asic设计,cae工作站和eda系统得到了迅速扩张,系统设计者也比哪些内部cad团队更加开放。
但摩尔定律的持续发挥作用,即便有了支持asic设计的eda,要设计大型电路依旧是一个艰巨的任务,同时,为了达到更高的生产率水平,需要心意层次的抽象化。
这时,设计的方法需要进一步提升,其中的一个关键是,由设计界提出的新层次的抽象化,在cae的帮助下转化为生产力,成为了产业界的标准。这即是所谓的寄存器传输级(rtl,register-transfer level)抽象。于是设计自动化公司们意识到它们需要跟进到rtl并努力提高设计人员的生产力,synopsys在推进抽象化前沿发展做出了重大的贡献。
rtl进一步扩展了芯片设计群体,就像系统设计工具扩展了asic设计群体那样。
但自eda从1993年进入成熟使其之后,这个领域的创新就开始放缓。可惜的是,芯片行业的挑战依旧在快速增加,即便有更好的模拟与仿真技术和ip市场的发展,随着2007年soc成为人们关注的焦点,并且摩尔定律也在放缓,eda面临着更大的挑战。
所以,而这一次,两大eda巨头在其产品中引入ai,可谓是eda行业自进入成熟期时候难得看到的创新。但业界对于新产品的接受程度以及影响力,还需要等到更多用户使用cadence和synopsys的产品之后才能得出结论。

 楼主| 发表于 2020-3-28 19:20:25 |
vista 平台登场,原来麻省理工也是自动驾驶仿真高手


雷锋网
发布时间:03-2816:19深圳英鹏信息技术股份有限公司

雷锋网按,在最近的一项研究中,麻省理工(mit)计算机科学与人工智能实验室和丰田研究所的研究人员共同介绍了 vista 平台(虚拟图像自动合成与转换)。
vista 是一款自动驾驶汽车开发平台,它可借助现实世界的数据集来合成车辆能够用上的行驶轨迹。
虽然 waymo、uber、cruise 和 aurora等自动驾驶汽车公司都有自己用来训练 ai 的仿真环境,但 mit 声称自家系统是少数不需要人工添加道路标记、树木和物理模型等的系统之一,而这样的特性可以大大加快自动驾驶汽车的测试与部署速度。
据研究人员介绍,如果虚拟车辆能保持不出事故,vista 会对其进行奖励,从而使他们“有动力”学习应对各种路况,包括车辆突然偏离轨道后重新获得控制权。vista 是数据驱动的,这意味着它可以根据与道路外观以及场景中所有对象的距离和运动一致的真实数据轨迹进行合成。这样可以防止在模拟中学到的知识与汽车在现实世界中的运行方式之间出现错配。
为了训练 vista,研究人员从多条道路的路测中采集视频数据。对于每帧画面,vista 会在一种 3d 点云中预测每一个像素。随后,他们将虚拟车辆放置在环境中并进行测试,以便在发出转向命令时,vista 根据转向曲线以及车辆的方向和速度,通过点云合成一条新的轨迹。
接着,vista 使用上述轨迹绘制逼真的场景并编制深度地图,其中包含从车辆视点到物体的距离有关的信息。通过将深度地图与估算 3d 场景中相机方向的技术相结合,引擎可精确定位车辆的位置及与虚拟模拟器中所有物体的相对距离,同时重新定位原始像素,从而从车辆的新视角中再现这个世界的景象。
在经过 10 到 15 个小时的训练后,研究人员搞了对比测试。结果显示在 10000 公里的测试里程中,经过 vista 训练的虚拟汽车能够在从未见过的街道上行驶。即使将其放置在模仿各种接近碰撞情况的路况上(例如只有一半车身还留在路上或进入另一个车道),汽车也能在几秒内成功恢复到安全的行驶轨迹。
将来,研究团队希望 vista 能从单一驾驶轨迹仿真进化到模拟所有类型的路况,例如白天和黑夜以及晴天和阴雨天气。此外,他们还希望模拟一些有很多车辆参与的复杂交叉路口。
雷锋网&雷锋网&雷锋网
 楼主| 发表于 2020-6-14 11:36:57 |
ascl code record [ascl:1912.005] athena : radiation gr magnetohydrodynamics code
stone, james m.; tomida, kengo; white, christopher; felker, kyle gerard
athena is a complete re-write of the athena astrophysical magnetohydrodynamics (mhd) code (ascl:1010.014) in c . compared to earlier versions, the athena code has much more flexible coordinate and grid options and supports new physics. it also offers significantly improved performance and scalability, and improved source code clarity and modularity. athena supports compressible hydrodynamics and mhd in 1d, 2d, and 3d, and special and general relativistic hydrodynamics and mhd. in addition, it supports cartesian, cylindrical, or spherical polar coordinates; static or adaptive mesh refinement in any coordinate system; mixed parallelization with both openmp and mpi; and a task-based execution model for improved load balancing, scalability and modularity.
code site:

2
返回列表
您需要登录后才可以回帖 登录 | 立即注册

关于yd2333云顶电子游戏

长沙优易软件开发有限公司(中文简称:优易软件,英文简称:uesoft)是三维管道cad/cae一体化设计软件开发商,也是新一代三维工厂设计管理系统的开创者。公司开发的自主知识产权的管道应力分析软件autopsa居于中国大陆市场前2名。uesoft于2000年10月23日经湖南省长沙市工商行政管理局核准登记设立。

联系云顶集团官方网站入口

  • 地址: 中国湖南省长沙市高新区桐梓坡西路保利麓谷林语中心i区1栋718-725
  • 电话: 0731-88808590
  • email:
© 2001-2021  powered by x3.4 
返回列表
网站地图