Table of Contents
About the Authors ���������������������������������������������������������������������������������������������������� ix
About the Technical Reviewers ������������������������������������������������������������������������������� xi
Acknowledgments ������������������������������������������������������������������������������������������������� xiii
Introduction �������������������������������������������������������������������������������������������������������������xv
www.allitebooks.com
iv
Networking ���������������������������������������������������������������������������������������������������������������������������� 22
Medicine �������������������������������������������������������������������������������������������������������������������������������� 22
Video Surveillance ����������������������������������������������������������������������������������������������������������������� 23
Summary������������������������������������������������������������������������������������������������������������������������������������� 23
Chapter 2
:
Traditional Methods of Anomaly Detection ������������������������������������������� 25
Data Science Review ������������������������������������������������������������������������������������������������������������������ 25
Isolation Forest ��������������������������������������������������������������������������������������������������������������������������� 34
Mutant Fish ���������������������������������������������������������������������������������������������������������������������������� 34
Anomaly Detection with Isolation Forest ������������������������������������������������������������������������������� 36
One-Class Support Vector Machine��������������������������������������������������������������������������������������������� 51
Anomaly Detection with OC-SVM ������������������������������������������������������������������������������������������ 63
Summary������������������������������������������������������������������������������������������������������������������������������������� 71
Chapter 3
:
Introduction to Deep Learning��������������������������������������������������������������� 73
What Is Deep Learning? �������������������������������������������������������������������������������������������������������������� 73
Artificial Neural Networks ����������������������������������������������������������������������������������������������������� 74
Intro to Keras: A Simple Classifier Model ������������������������������������������������������������������������������������ 84
Intro to PyTorch: A Simple Classifier Model������������������������������������������������������������������������������� 111
Summary����������������������������������������������������������������������������������������������������������������������������������� 122
Chapter 4
:
Autoencoders �������������������������������������������������������������������������������������� 123
What Are Autoencoders? ����������������������������������������������������������������������������������������������������������� 123
Simple Autoencoders ���������������������������������������������������������������������������������������������������������������� 125
Sparse Autoencoders ���������������������������������������������������������������������������������������������������������������� 140
Deep Autoencoders ������������������������������������������������������������������������������������������������������������������� 142
Convolutional Autoencoders������������������������������������������������������������������������������������������������������ 144
Denoising Autoencoders ����������������������������������������������������������������������������������������������������������� 153
Variational Autoencoders ���������������������������������������������������������������������������������������������������������� 163
Summary����������������������������������������������������������������������������������������������������������������������������������� 178
Table of ConTenTs
www.allitebooks.com
v
Chapter 5
:
Boltzmann Machines ��������������������������������������������������������������������������� 179
What Is a Boltzmann Machine? ������������������������������������������������������������������������������������������������� 179
Restricted Boltzmann Machine (RBM) �������������������������������������������������������������������������������������� 181
Anomaly Detection with the RBM - Credit Card Data Set ���������������������������������������������������� 187
Anomaly Detection with the RBM - KDDCUP Data Set ��������������������������������������������������������� 197
Summary����������������������������������������������������������������������������������������������������������������������������������� 212
Chapter 6
:
Long Short-Term Memory Models ������������������������������������������������������� 213
Sequences and Time Series Analysis ���������������������������������������������������������������������������������������� 213
What Is a RNN? ������������������������������������������������������������������������������������������������������������������������� 216
What Is an LSTM? ��������������������������������������������������������������������������������������������������������������������� 218
LSTM for Anomaly Detection ����������������������������������������������������������������������������������������������������� 223
Examples of Time Series ����������������������������������������������������������������������������������������������������������� 243
art_daily_no_noise �������������������������������������������������������������������������������������������������������������� 243
art_daily_nojump ���������������������������������������������������������������������������������������������������������������� 244
art_daily_jumpsdown ���������������������������������������������������������������������������������������������������������� 246
art_daily_perfect_square_wave ����������������������������������������������������������������������������������������� 248
art_load_balancer_spikes ��������������������������������������������������������������������������������������������������� 250
ambient_temperature_system_failure �������������������������������������������������������������������������������� 251
ec2_cpu_utilization ������������������������������������������������������������������������������������������������������������� 253
rds_cpu_utilization �������������������������������������������������������������������������������������������������������������� 254
Summary����������������������������������������������������������������������������������������������������������������������������������� 256
Chapter 7
:
Temporal Convolutional Networks ������������������������������������������������������ 257
What Is a Temporal Convolutional Network? ����������������������������������������������������������������������������� 257
Dilated Temporal Convolutional Network ���������������������������������������������������������������������������������� 262
Anomaly Detection with the Dilated TCN ����������������������������������������������������������������������������� 267
Encoder-Decoder Temporal Convolutional Network ������������������������������������������������������������������ 283
Anomaly Detection with the ED-TCN ����������������������������������������������������������������������������������� 286
Summary����������������������������������������������������������������������������������������������������������������������������������� 295
Table of ConTenTs
vi
Chapter 8
:
Practical Use Cases of Anomaly Detection������������������������������������������ 297
Anomaly Detection �������������������������������������������������������������������������������������������������������������������� 298
Real-World Use Cases of Anomaly Detection ���������������������������������������������������������������������������� 299
Telecom ������������������������������������������������������������������������������������������������������������������������������� 300
Banking ������������������������������������������������������������������������������������������������������������������������������� 302
Environmental ��������������������������������������������������������������������������������������������������������������������� 303
Healthcare ��������������������������������������������������������������������������������������������������������������������������� 304
Transportation ��������������������������������������������������������������������������������������������������������������������� 306
Social Media ������������������������������������������������������������������������������������������������������������������������ 307
Finance and Insurance �������������������������������������������������������������������������������������������������������� 308
Cybersecurity����������������������������������������������������������������������������������������������������������������������� 309
Video Surveillance ��������������������������������������������������������������������������������������������������������������� 312
Manufacturing ��������������������������������������������������������������������������������������������������������������������� 313
Smart Home ������������������������������������������������������������������������������������������������������������������������� 315
Retail ����������������������������������������������������������������������������������������������������������������������������������� 315
Implementation of Deep Learning-Based Anomaly Detection �������������������������������������������������� 316
Summary����������������������������������������������������������������������������������������������������������������������������������� 317
Appendix A: Intro to Keras ������������������������������������������������������������������������������������ 319
What Is Keras? �������������������������������������������������������������������������������������������������������������������������� 319
Using Keras ������������������������������������������������������������������������������������������������������������������������������� 320
Model Creation �������������������������������������������������������������������������������������������������������������������� 321
Model Compilation and Training ������������������������������������������������������������������������������������������ 322
Model Evaluation and Prediction ����������������������������������������������������������������������������������������� 326
Layers ���������������������������������������������������������������������������������������������������������������������������������� 328
Loss Functions��������������������������������������������������������������������������������������������������������������������� 340
Metrics �������������������������������������������������������������������������������������������������������������������������������� 343
Optimizers ��������������������������������������������������������������������������������������������������������������������������� 345
Activations ��������������������������������������������������������������������������������������������������������������������������� 348
Callbacks ����������������������������������������������������������������������������������������������������������������������������� 351
Back End (TensorFlow Operations) �������������������������������������������������������������������������������������� 358
Summary����������������������������������������������������������������������������������������������������������������������������������� 360
Table of ConTenTs
vii
Appendix B: Intro to PyTorch �������������������������������������������������������������������������������� 361
What Is PyTorch? ����������������������������������������������������������������������������������������������������������������������� 361
Using PyTorch ��������������������������������������������������������������������������������������������������������������������������� 362
Sequential vs� ModuleList ��������������������������������������������������������������������������������������������������� 376
Layers ���������������������������������������������������������������������������������������������������������������������������������� 377
Loss Functions��������������������������������������������������������������������������������������������������������������������� 387
Optimizers ��������������������������������������������������������������������������������������������������������������������������� 390
Temporal Convolutional Network in PyTorch ����������������������������������������������������������������������������� 392
Dilated Temporal Convolutional Network ����������������������������������������������������������������������������� 393
Summary����������������������������������������������������������������������������������������������������������������������������������� 408
Index ��������������������������������������������������������������������������������������������������������������������� 409
Table of ConTenTs
ix
Do'stlaringiz bilan baham: |