配置基于Elasticsearch的EPICS PV分析器

1# @Time : 2020-05-27 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] 把EPICS PV存入ES后,为了方便搜索,需要自定义analyzer。 ES 文本分析 基于https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis.html完成本文。 ES默认使用standard analyzer对一段文本进行操作,如分词(根据空格拆分),单词还原(foxes还原为fox),去除停用词(移除the,a等冠词)等。除默认分析器还有一系列内置分析器(built-in analyzer),用户也可以自定义分析器。 ...

May 27, 2020 · 5 min · 2447 words · DW

ELK配置

1# @Time : 2020-05-02 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] 为了方便配置,(其实是懒得研究Puppet,Chef,和Ansible这些自动化管理工具),把一些我常用的配置项在这里列一下。所有内容只针对CentOS 7。ES版本 7.6。 ...

May 2, 2020 · 4 min · 1735 words · DW

ElasticSearch 基本概念

1# @Time : 2020-04-23 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] 前言:之前在LINAC安装了ES,采集了控制网络内EPICS beacon anomaly和Archive Appliance的数据,但是使用了一个非常老旧的桌面计算机,也没有修改什么参数,导致机器非常卡顿(文末会分析原因)。最近购入了一个新的服务器,准备migrate到新的机器上,再加上疫情在家隔离终于有时间去研究下ES的一些细节概念了。 ...

April 23, 2020 · 29 min · 14065 words · DW

关于信仰

1# @Time : 2020-04-20 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] 记录下在读书过程中的一些思考,摘自《大问题:简明哲学导论》 对于上帝的观念 泛神论:我们是上帝这个伟大存在者的一部分。拥护者:斯宾诺莎 ...

April 20, 2020 · 3 min · 1068 words · DW

Raspberry pi

1# @Time : 2020-04-17 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] Raspberry pi Some memo during the usage of Raspberry Pi Linux Kernel How to obtain the kernel config options ? https://superuser.com/questions/287371/obtain-kernel-config-from-currently-running-linux-system sudo modprobe configs cat /proc/config.gz | gunzip > running.config less running.config Using a proxy vim /etc/environment 1export http_proxy="http://yourproxy:prot" 2export https_proxy="https://yourproxy:prot" 3export no_proxy="localhost, 127.0.0.1" Then run sudo visudo, add below line: ...

April 17, 2020 · 1 min · 82 words · DW

ssh learning

1# @Time : 2020-04-13 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] 关于ssh的配置 每天都要通过ssh登陆远程主机,所以一些偷懒的配置是必不可少的。ssh是基于非对称加密的RSA算法,连接过程也包括了host的认知,user的认证几个过程,这些知识包含很多密码学的内容,有很多博客都有讲。我就单记录一下自己的一些配置。 ...

April 13, 2020 · 3 min · 1023 words · DW

粒子加速器控制-粒子加速器定时系统常见概念

1# @Time : 2020-02-10 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] 粒子加速器定时系统 本系列主目录: 粒子加速器控制 在阅读加速器定时系统的手册或者论文时候会看到各种名词和数据,由于概念命名的不统一,会对初学者造成困扰,因此我总结一下常见的一些概念。 ...

February 10, 2020 · 4 min · 1639 words · DW

粒子加速器控制-Linux命令整理

1# @Time : 2020-02-07 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] 本系列主目录: 粒子加速器控制 这周把前段时间积累的一些工作给完成了,包括: 使用Elastic Stack对EPICS控制系统网络进行监控与可视化 编写了程序调用caSnooper自动检测网络内PV请求状况并发送邮件提醒,源码已托管在GitHub 对定时系统Bucket Selection的程序处理逻辑bug fix,还没有更新到运行环境 花了一晚上更新了博客,添加了一部分功能,本想添加豆瓣读书和电影模块,但似乎模块有bug,已提交了issue,等作者解决。在源码中添加了Travis CI支持,以后可以在页面上写博客了。 这几天发生了很糟糕的事情,哀悼之余着手用Amazon 免费的云服务器EC2搭了一个v2ray的服务,便于仍在墙内的朋友去接受多样的信息。 这个周末决定先努力把我常用的Linux命令以及一些不熟悉的命令给整理一下,如果有时间的话再读一读科大师兄早就发给我的定时系统的论文,以及几个同门师兄的博士毕业论文,看看对于自己的课题有没有什么启发;如果还有时间就再去研究下 https://github.com/ChannelFinder 似乎BNL和ANL都在使用,正好看看是自己造轮子还是复用。本文内容主要基于 此文章,向作者表示感谢! ...

February 7, 2020 · 5 min · 2083 words · DW

YAML introduction

1# @Time : 2019-02-02 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] A Short Report on YAML YAML means “YAML Ain’t a Markup Language”. It uses Python-style indentation to indicate nesting, and use [] for lists and {} for maps. Since the name is recursive, it is a better option to explain YAML by YAML. 1--- # Syntax 2basic syntax: 3 - whitespace indentation is used for denoteing structure and `tab` is not allowed 4 - comments begin with the `#` 5 - List members are denoted by leading hyphen (`-`) with one member per line 6 - use key:value to denote array 7 - case sensitive 8Support data structure: 9 - map (also called dictionary or hashes or key:value pair) 10 - array or list or sequence 11 - scalars 12 13# basic components 14map: 15 - map1: this is a map 16 - map2: {name: hello, id: world} 17list: 18 - cat 19 - dog 20 - cow 21 - [monkey, elephant] 22scalars: 23 null: ~ 24 boolean: 25 - TRUE # True (yaml1.1), string "Yes" (yaml1.2) 26 - FALSE 27 - yes 28 - no 29 - Yes 30 - YeS # will be recognized as a string 31 float: 32 - 3.14 33 - 2.99e+8 34 int: 35 - 65536 36 - 0b1010 # dec: 10 37 srting: 38 - apple 39 - "another string" 40 - '\n will be escaped' 41 - "\n will not be escaped" 42 - data: | 43 There once was a tall man from Ealing 44 Who got on a bus to Darjeeling 45 It said on the door 46 "Please don't sit on the floor" 47 So he carefully sat on the ceiling 48 - info: > 49 this is 50 an 51 info 52 53 \n 54 continued 55 info 56date and time: 57 # {date}t{time}+timezone 58 - iso8601: 2001-12-25t01:23:45.54+09:00 59 - date: &epoch 1970-01-01 60 - epochtime: *epoch 61explicit type: 62 str_true: !!str true # string rather than boolean 63 str_int: !!str 123 # string rather than int 64anchor and refers: 65 - anchor: &anchor001 66 Manager: Alice 67 Programer: Bob 68 Teacher: Dylan 69 Student: Ruby 70 - refer: *anchor001 71 - merger: 72 <<: *anchor001 73 Student: Python Parse this YAML file by Python3. ...

February 2, 2020 · 4 min · 662 words · DW

Elasticsearch+Kibana+Beats+Logstash安装

1# @Time : 2019-01-28 2# @Language: Markdown 3# @Software: VS Code 4# @Author : Di Wang 5# @Email : [email protected] 本博客资料来源:Elastic官网 Elasticsearch+Logstash+Kibana,合称ELK,Elasticsearch用来完成搜索,Logstash用于数据采集,Kibana用于数据可视化。 数据采集工作早期由Logstash完成,现在则使用Beats,Logstash更多用于数据汇聚处理。 ...

January 28, 2020 · 3 min · 1128 words · DW