第一章 概率空间和随机变量

1-1 概率空间

1-1-1 样本空间

N 维样本空间:N 个一维样本空间的笛卡尔乘积。例如空间坐标分布(x,y,z)就是一个 3 维样本空间

多维和无穷维样本空间也称为乘积样本空间

此外,对于所有满足 的正整数 ,称集合 中任意 M 个集合的笛卡尔乘积为M 维边界样本空间

1-1-2 Borel 事件集

Borel 事件集

由样本空间 的一些事件组成的集合,如果事件集 A 满足下面的三个性质:

  1. ,则
  2. 若有 ,则

则称事件集 为定义于样本空间 上的 Borel 事件集。

也就是闭合:空集、全集、补集、并集都在事件集中

Borel 事件集所满足的上述三个性质规定了事件间应满足的基本逻辑事实: 第 1 条性质规定必然事件 S 和不可能事件 必须作为考察的对象,第 2 条性 质规定了一个事件的反面也构成一个事件,第 3 条性质规定了任意多个事件的 并也构成一个事件。规定事件集满足如上所述的三个 Borel 条件,是为了保证 所有需要考虑的事件在逻辑上具有相容性。

1-1-3 事件的概率

概率是事件频率稳定性的模型

事件的频率定义为,在若干次试验中某个事件出现的次数占试验总次数的比例。设有事件 A,其频率 F(A) 定义为

在不同时间或地点,针对同一种非确知系统做多次试验,当试验的次数 T 超过一定规模时,则不论 T 是多少,也不论观察哪一个事件 A,事件 A 的频率 F(A) 总是与一个固定的常数相差不远,或者说在该常数左右作微小波动,这种现象称为事件的频率稳定性。

概率是频率所遵循的绝对规律,频率是在概率这个绝对规律之 上,叠加一些小扰动之后的具体表现。

  1. 概率九事:非确知系统、试验、样本点、样本空间、事件、Borel 事件集、事件的频率、频率稳定性、概率。
  2. 概率三要:样本空间、Borel 事件集、概率集函数。三要是概率概念的略说,九事是详说。
  3. “随机”不是前一瞬间的条件固定,下一瞬间的结果可以有多种;而是前一瞬间的条件没有办法完全观察或测量到,于是就无法预测下一瞬间的试验结果。随机与非随机不是系统固有的属性,而是观察者根据自己的观察能力对系统所做的分类。
  4. 事件的频率稳定性是系统内部微观机制稳定性的一种体现。
  5. 事件的概率是事件频率的稳定值
  6. 概率的作用有两个:一是预测非确知系统事件未来的发生频率,二是根据可观察的边界事件,推断不可观察的边界事件。

1-1-4 边界

乘积样本空间的事件称为联合事件,一个联合事件在其边界样本空间上的投影称为边界事件

似乎就是说投影到低维度上。。

单满映射就是双射,也就是一一映射。

概率集函数:设 为 定义于样本空间 上的 Borel 事件集,则映射 为概率集函数

概率空间:由“样本空间 S、Borel 事件集 A、概率集函数 P”这三者组成的一个集合,记为

S 生成 A,P 度量 A

1-2 事件间的关系

1-3 随机变量

1-3-1 标准概率空间

最常见的标准样本空间有以下几类:

  1. 实数空间: ,其中 为可数无穷;
  2. 复数空间:,其中 同上;
  3. 实(复)函数空间:,其中的 是不可数无穷, 的定义如下 其中 是某个不可数的一维指标集合,如一维闭区间。此时, 表示的是由定义于区间 上的实函数或复函数组成的集合。

非标准概率空间的标准化

假设 是上面所说的三类标准样本空间, 是某个概率空间 的 样本空间。若存在 上的单射 ,则 之间就建立了一个单满映射(也即双射),于是就可以用标准样本空间的子集 来代替

非空,则可以将事件 的概率定义为零。譬如抛硬币 ,且定义 的概率为零。

若有一个函数 ,则显然这个函数对应着如下的无穷维向量:, 有时候将此向量表示为 或者 。此时,函数的定义域就是该无穷维向量的维数指标集,而函数在定义域内每个元素上的取值就是该向量在该维数上的取值。

若有一个函数 ,其中 是某个不可数的一维指标集,则这个函数对应着如下的不可数无穷维向量:。此时,函数的定义域就是该不可数无穷维向量的维数指标集,而函数在定义域内每个元素上的取值就是该向量在该维数上的取值。

随机变量

随机变量本质上是变量。

随机变量实际上是传统变量的“升级版”,它在“兼容”传统变量所有属性的同时,还增加了取值概率属性。

随机变量按照其维数可以分为有限维和无限维两种。有限维随机变量又可以分为一维随机变量多维随机变量两种,无限维随机变量又可以分为可数无限维随机变量不可数无限维随机变量两种。

多维随机变量有时候也被称为随机向量,如果多维随机向量以矩阵的形式呈现,也称为随机矩阵

因为一个无限维的向量可以看作一个函数,所以一个无限维的变量就称为一个变函,一个无限维的随机变量也称为随机变函

如果一个随机变函变化范围内的所有函数具有相同的定义域,且此定义域是时间指标集,则称该随机变函为随机过程。或者说,一个无穷维随机变量的维数指标如果具有时间的物理意义,该无穷维随机变量也被为随机过程

随机变量变化的样本空间如果是实数空间,则称为实随机变量;随机变量变化的样本空间如果是复数空间,则称为复随机变量。从维数的角度来观察,对任意 ,n 维复随机变量在本质上就是一个 2n 维的实随机变量。

第二章 一维随机变量

2-1 一维随机变量的定义

当考虑变量 的取值频率时,其就成了一个一维随机变量

2-2 概率密度函数

概率分布函数

性质:

  1. 单调递增
  2. 右连续,即

概率密度函数定义为概率分布函数的广义导数:

性质:

2-3 数字特征

  • 均值:
  • 均方:
  • 方差:
  • 阶原点矩:
  • 阶鿇对原点矩:
  • 阶中心矩:
  • 阶绝对中心矩:

2-3-3 熵

  • 事件的信息量:
  • 一维随机变量的熵:

常见分布

对数分布

Cauchy分布

  • 概率密度函数:
  • 概率特征函数:

Laplace分布

  • 概率密度函数:
  • 概率特征函数:

Poisson分布

  • 概率质量函数:

  • 概率生成函数:

  • 均值:

  • 方差:

  • 概率质量函数,实际上是离散的概率密度函数

  • 概率生成函数,概率质量函数的 z 变换

  • 概率分布函数

  • 概率密度函数,pdf

  • 概率特征函数,概率密度函数的 z 变换

第三章 多维随机变量

  • 概率密度函数,有
  • 联合概率密度函数:为联合概率分布函数的 n 阶导数
  • 联合概率分布函数
  • 边界概率密度函数

3-3 数字特征

  • 均值:
  • 均方
  • 方差
  • 相关矩:
  • 协方差:
  • 相关系数:
  • 联合原点矩:
  • 联合中心矩:

3-4 多维随机变量分量间的关系

  • 条件概率密度函数
  • 条件期望

复随机变量

一维复随机变量:

  • 均值
  • 方差
  • 有效性
  • 可靠性
  • 通过性:固定有效性或可靠性的情况下,正确通过信道的比特数

人为增加的冗余具有很强的纠错能力,自然的冗余则没有

故意引入 ISI(其实不是故意引入,而是 ISI 很菜,均衡技术可以轻易去除它),以扩展频宽

移动通信实现了(有人烟的地方)无缝覆盖,这是其相对于 WiFi 等的最大特点。

对应课程:南京大学并发算法与理论

试图像追番一样学习

不过时间有限,就做个简短的笔记好了

0 绪论

并发存在交织性,例如以下程序虽能编译,但会断言错误:

#include <thread>
#include <assert.h>

int x = 0;

void foo() {
    while (true) {
        x = 1;
        x = 0;
        assert(x == 0);
    }
}

int main() {
    std::thread t(foo);
    std::thread t2(foo);

    t.join();
    t2.join();
}
// g++ ./main.cpp -lpthread -o main.o

1 JMM

Java Memory Model (JMM)

1-1 SC 模型

Sequential Consistency (SC) Model,顺序存储模型

这种与顺序存储模型不符的 reordering 优化在 Java 或其它编译器中存在

1-2 DRF 程序

Data-Race-Freedom (DRF),无数据竞争:读写冲突/写写冲突

DRF 程序就不用担心受 reordering 优化影响。 因此编译器也可以大肆优化:

1-3 Happens-Before

操作A happens before 操作B,就是要求 操作A 对于 操作B 可见,且本质上应先于操作B 执行。譬如:

i = 1; // 操作A
j = i; // 操作B

则如果 A hb B,则 j=1;若没有声明 hb,就不能保证这个结果。

不过,即便声明 hb,也并不一定要顺序执行,只要保证结果上一致即可。

这课好像纯 Java 啊目前

对应课程:东南大学工程矩阵理论-周建华

第0章 复习与引申

0-1 矩阵的代数运算

相似

矩阵相似 :可以通过初等行/列变换转换

  • 约当型: 与原矩阵相似的简单矩阵
  • 范数:用于刻划矩阵大小,的差
  • 广义逆矩阵: 对方程
    1. 可逆,则
    2. 不可逆,则 ,其中为广义逆矩阵

矩阵乘法中的 非零零因子,但 ,则 为左零因子, 为右零因子

常见的类对角矩阵:

可交换

可交换

数量矩阵,其中 为实数, 为单位阵

  • 若A与任意同阶矩阵可交换,则A为数量矩阵

矩阵的乘法交换律不成立,乘法消去律也不成立,但乘法分配律成立

当矩阵AB=BA时,二项式定理成立

分块矩阵

分块矩阵 :将A、B两矩阵分块:

在A的列的分法与B的行的分法相一致时,矩阵 也可以写成分块矩阵:

:矩阵内最多呈线性无关的列向量数

,则

可由 线性表示,则

0-2 线性方程组

设方程组 ,则有

  1. 有解
  2. ,则有唯一解
  3. ,则通解中有 个自由未知量

基础解系

基础解系:若 满足:

  1. 的解
  2. 线性无关
  3. 的任一解都可被其线性表示 则其为 的基础解系

对于齐次线性方程组 ,有

  1. 有非零解 (系数矩阵的秩小于未知量个数)
  2. ,则其基础解系中含 个解向量
  3. ,则其任意 个线性无关的解向量是其基础解系

阶梯形矩阵

满足下述条件的矩阵称为阶梯形矩阵:

  1. 元素全为零的行均在矩阵的下方
  2. 非零首元所在列的下标随着行标的增大而严格增大

满足下述条件的阶梯形矩阵称为简化阶梯形矩阵:

  1. 各个非零行的非零首元均为 1
  2. 除了非零首元外,非零首元所在的列其余元素都为零

Gauss 消元法

  1. 用初等行变换将增广矩阵化为阶梯形矩阵
  2. 确定自由未知量:
    1. 找每行的非零首元
    2. 找对应未知量
  3. 通过回代法用自由未知量表示2.2中的未知量(此步可借助简化阶梯形矩阵)

共轭转置 ,即先复数上的共轭,再转置

==矩阵的秩 等于==:

  • 其非零子式的最高阶数
  • 或等于其行/列向量的的秩
  • 或以 为基础解系的齐次线性方程组的解的秩

线性⽅程组恒有解 系数矩阵的秩 = 增广矩阵的秩

若阶梯矩阵有全零行,则有无穷多个解

0-3 向量

极大线性无关组

设向量组 的部分组 满足

  1. 线性无关(可用列方程表示)

  2. 中每个向量均可由 线性表示,则称 的一个极大无关组

  3. 若一向量组的极大无关组中含 个向量,则称这个向量组的秩为

  4. 若向量组的秩为 ,则该向量组中任意 个线性无关的向量均为其极大无关组

判断是否线性相关:

  • 若有非零解,则线性相关
  • 若仅有全零解,则线性无关

矩阵的秩

有关秩的不等式1.

  1. ,则
  2. 对于

3 是 4 的特殊情况

初等阵:可以由单位阵经一次初等变换得到的矩阵

幂等矩阵

可逆矩阵:又称满秩矩阵,能通过初等变换得到单位阵(理由:,可知方程有唯一解,即系数矩阵相似于单位阵)

  • 可知可逆矩阵的行、列向量线性无关(初等变换后满秩)

不可逆矩阵:若 为不可逆矩阵,则必有 ,使得

  • 可知不可逆矩阵的行、列向量线性相关(初等变换后有全零行)

线性无关=可逆,线性相关=不可逆

满秩分解:对于 的矩阵 ,取 的矩阵 的矩阵 ,使得 ,其中

  • 可取 的极大线性无关组, 则为各列用极大线性无关组表示时的对应系数

1-1 线性空间

1-1-1 线性空间的定义

线性空间是由下述三个要素确定的代数系统:

  1. 一个数域 ,一个非空集合 中的元素也称为向量);
  2. 两个运算:加法:;数乘:
  3. 上述运算满足如下八个公理:其实只需加法、乘法封闭
    • 加法交换律:,有
    • 加法结合律:,有
    • 零元存在性:存在 ,使得,有
    • 负元存在性:,存在 ,使得
    • 幺等律:
    • 数乘结合律:,都有
    • 分配律:,有
    • 分配律:,都有

1-1-2 线性空间的例子

  1. 数域 上所有 维向量全体,按向量的加法和数乘,构成一个线性空间,记为
  2. 数域 上所有 矩阵全体,按矩阵的加法和数乘,构成一个线性空间.记为
  3. 数域 上所有一元多项式全体,按多项式的加法和数乘,构成一个线性空间.记为
  4. 数域 上所有次数小于n的一元多项式全体,按多项式的加法和数乘,构成一个线性空间,记为

1-1-3 线性空间的性质

是数域上的线性空间,,则:

  1. V中的零向量是唯一的.通常记为
  2. V中任一向量的负向量是唯一的.通常记为
  3. 加法消去律:若,则
  4. 向量方程的解:有唯一解,记为
  5. ,特别地,
  6. ,当且仅当

1-2 基和维数

1-2-1 线性相关性

,若存在不全为零的数 使得,则称向量组线性相关。否则,称线性无关

  • 相关:能表示
  • 无关:不能表示

重要性质

  1. 若s≥2,则线性相关当且仅当存在向量 ,使得可由其余向量线性表示
  2. 线性无关,但线性相关,则可由线性表示,而且,线性表示的方法是唯一的.
  3. 可由线性表示,则线性相关

可由线性表示,且线性无关,则t≤s

等价,且都线性无关,则

等价:两向量组可相互线性表示 线性空间中的向量仅代表元素,因此向量也可以是矩阵

1-2-2 基、维数和坐标

定义: 若 满足条件:

  1. 线性无关
  2. 任意的 均可由 线性表示 则称 是 V 的一组基

维数

  1. 的某一组基中含个向量,则的任一组基中都含个向量,称的维数,记为
  2. ,则中任意个向量线性相关
  3. 线性空间的基不一定存在,
    • 如:只含一个零向量的空间称为零空间,规定零子空间的维数为.
    • 再如:规定

定理:若 ,则 V 中任意 个线性无关的向量均构成 的基

坐标

定义: 设 是V的一组基,,且 ,则称 是β在基下的坐标,或是β在基下的坐标(列向量)

性质:

  1. 线性空间的基是有序的
  2. 基相当于几何空间中的坐标系

定理: 假设, 在基下的坐标分别是,则

  1. 线性相关线性相关.

的秩:

  1. :线性无关
  2. :线性相关 即其阶梯矩阵非零行的数量

1-2-3 基变换和坐标变换

形式记号

,定义形式行向量。 比如,若 是β在基下的坐标, 则可形式地记成。 若可由线性表示, 于是,我们可以找到一个s×t矩阵A使得

性质: 若

过渡矩阵

定义: 设 都是V的基,且 则称A是从基到基的过渡矩阵

过渡矩阵是右乘的!且顺序是反的!例如:若 则知为从基到基的过渡矩阵 但下应为

性质

  1. 过渡矩阵一定是可逆的
  2. 若从基到基的过渡矩阵是A,则从基到基的过渡矩阵是.
  3. 若从基到基的过渡矩阵是A,从基到基的过渡矩阵是B,则从基到基的过渡矩阵是.

坐标变换公式

在基下的坐标是X,在基下的坐标是Y,而从基到基的过渡矩阵是,==则,或==

1-3 子空间

1-3-1 子空间的定义

设 V 是数域 F 上的线性空间, W 是 V 的非空子集。若 W 关于 V 的运算也构成 F 上的线性空间,则称 W 是 V 的子空间.记

W的运算与V中的运算应当相同

1-3-2 充分必要条件

,则 的子空间 关于线性运算封闭

1-3-3 重要子空间

  1. ,称 V 是齐次线性方程组 的解空间.(基础解系是 V 的一组基,维数是 。)
  2. 上的线性空间,,集合 称 W 是由 生成的子空间 称 是W的生成元。记

性质

  1. ,则
  2. 等价
  3. 的极大无关组是 的基,故

1-3-4 基扩充定理

有限维线性空间 V 中任意线性无关向量组均可扩充成 V 的基

:仅有第 i 行第 j 列为 1,其它元素为 0 的方阵

1-4 子空间的交与和

并集并不是子空间

1-4-1 交与和的定义

定义 分别称为子空间的交与和

定理 都是 V 的子空间.

1-4-2 维数定理

定理: 若

维数定理: 假设,有

1-4-3 直和

定义,若唯一的 ,使得 , 则称 是直和,记为

定理,则下述条件是等价的:

  1. 直和
  2. 的表示方式是唯一的
  3. 的基合在一起就是的基

多个子空间的直和: 设 ,若 唯一的,使得, 则称 是直和,记为 .

定理: 设,则下述条件是等价的:

  1. 直和
  2. 的表示方式是唯一的
  3. 的基合在一起就是的基

1-5 线性映射

1-5-1 映射的概念

定义: 设 S 和 T 是两个集合, 是一个法则,使得对 中每个元素 , 在 T 中必存在唯一的元素 y 与之对应,则称 是 S 到 T 的映射, 记为 如果,则称 y 为 x 的象,x 为 y 的原象 S在映射 下的全体象记为 ,称为 的值域 集合S到自身的映射 称为S上的变换 集合S到自身的映射 称为S上的恒等变换

定义: 设映射 ,若 .则称 是满射 若由 必能推得 ,则称 是单射 若 既是满射又是单射,则称 是双射

定理 是双射 是可逆映射 (即,存在映射,使得,fg=I_T)

线性映射设 V,U 是数域 F 上的线性空间,若映射满足条件:

  1. 齐性
  2. 可加性

则称 是从 V 到 U 的线性映射, 从 V 到 U 的线性映射全体记为 V 到 V 自身的线性映射称为 V 上的线性变换

假设是线性映射.则:

  1. 线性相关,则 线性相关
  2. ,则 的值域
  3. 是 V 的子空间,称为 的核空间,也记作

线性变换的运算

假设 ,定义 如下:

  1. 容易记错!不满足交换律 容易验证,以上运算的结果仍然都是线性映射

是线性变换

性质: 设 。则:

1-5-2 基下的矩阵

,选定基偶: 则称 A 是 在选定基偶下的矩阵 特别如果 ,且 则称 A 是线性变换 在所选基下的矩阵.

定理: 若在基偶 下的矩阵是 的坐标是 , 则 在基 下的坐标是 .

定理: 设 在选定基偶: 的一组基 到 基 的过渡矩阵是 的一组基到 基 \eta_1,\eta_2,\dots,\ets_s 的过渡矩阵是, 若在基偶 下矩阵为A,在基偶 下矩阵为 , 则 特别是,若 在基 下的矩阵是 , 则 在新的基 下的矩阵 是

可知 A 与 B 相似,也就是说同一线性变换在不同的基偶下是相似的

定理: 假设 在 V 的基 下的矩阵分别 是A,B,设 ,则在基 下,

  1. 的矩阵是
  2. 的矩阵是
  3. 的矩阵是
  4. 可逆 矩阵 可逆,并且, 的矩阵是

1-5-3 值域和核

假设 ,则

  • 是满射。若 ,则
  • 是单射

值域的计算

在基偶 下的矩阵是 A,即 由于 的极大无关组是 的基 特别地,

1-5-4 核子空间的计算