文本分析

语言相对性论 (Linguisitic Relativity)也叫萨丕尔-沃尔夫假说 (Whorfian Hypothesis)， 该假说认为不同的语言能否决定母语者的思维。语言不仅反映了我们对世界的认知，还会影响我们对世界的感知和思考方式。对于用某个单词表示的某个事物，使用不同语言的人会有不同的理解，而这种看待现实世界的方式之所以不同，证实由于语言本身的差异。 与该假说形成息息相关的学者依次有洪堡特、鲍阿斯、萨丕尔、沃尔夫等。...

睡前消息是我最喜欢看的节目， 基本上隔两天不看睡不踏实。本次分享，不涉及观点之争，纯属技术玩乐。...

来自心理学和认知神经科学的证据表明，人类大脑的语义系统包含几个特定的子系统，每个子系统都代表语义信息的特定维度。对这些不同语义维度上的词语评分可以帮助研究语义维度对语言处理的行为和神经影响，并根据人类认知系统的语义空间建立语言含义的计算表示。现有的语义评分数据库提供了数百到数千个词语的评分，但这无法支持对自然文本或语音的全面语义分析。本文报告了一个大型数据库——六维语义数据库（SSDD， 后文「数据库」均用「词典」代替），其中包含对 17,940个常用汉语词语在六个主要语义维度上的主观评分：视觉、运动、社交、情感、时间和空间。此外，使用计算模型学习主观评分和词嵌入之间的映射关系，我们在SSDD中包括了1,427,992个汉语和1,515,633个英语词语的估计语义评分。SSDD将有助于自然语言处理、文本分析和大脑中的语义表示研究。...

通过一个单词所处的语境，我们可以了解该单词的含义。**该谚语源于英国语言学家 J.R. Firth 的理论，他认为单词的含义是由其周围的语境和与之相伴的其他单词所决定的，因此我们需要通过单词出现的上下文来理解其含义。这一理论在语言学、自然语言处理等领域有着广泛的应用。之前分享过 [ 使用正则表达式、文本向量化、线性回归算法从md&a数据中计算 「企业融资约束指标」 ]， 使用的是正则表达式识别融资约束文本。但是正则表达式设计十分复杂且有难度，在此之前，如果能够查看某些融资关键词附近上下文， 可帮助研究者更全面地了解数据集中关键词的使用情况和语境，更好的设计正则表达式，亦或许意外找出新的有价值的线索。...

Literally, **word embedding (Embeddings)** is the use of dense vectors to represent the semantics of a word. **Scholars have shown that by comparing the distance between these word vectors, we can understand how "humans" understand the meaning of words**. So, if we have a corpus comparing the distance between "taxes" and social groups ("conservatives", "socialists"), semantically, "taxes" should be farther away from "socialists", after all The money collected is for the service of the general public and has elements of socialism. In the word embedding space, word vectors contain rich information, such as analogies. Spain is to Madrid what Germany is to Berlin and France to Paris.字面上，**词嵌入(Embeddings)**是使用稠密向量表示一个词语的语义。**学者们已经表明，通过比较这些词向量之间的距离，我们可以了解“人类”如何理解单词的含义**。因此，如果我们有一个语料库，比较“税收” 与 社会团体(“保守派”、“社会主义者”) 之间的距离， 按照语义，“税收”应该距离 “社会主义者” 跟多一些，毕竟收上来的钱是为了社会大众服务，有社会主义的成分。在词嵌入空间中，词向量含有丰富的信息，例如可以做类比。西班牙之于马德里， 正如德国至于柏林、法国之于巴黎。"...