Machine Learning: Step-by-Step Guide To Implement Machine Learning Algorithms with Python

 
Computational Complexity
With the normal formula, we can compute the inverse of M^T. M — that is, a
n*n matrix (n = the number of features). The complexity of this inversion is
something like O(n^2.5) to O(n^3.2), which is based on the implementation.
Actually, 
if you make the number of features like twice
, you'll make the time
of the computation attain between 2^2.5 and 2^3.2.
The great news here is that the equation is a linear equation. This means It can
easily handle huge training sets and fit the memory in.
After training your model, the predictions will be not slow, and the complexity
will be simple, thanks to the linear model. It’s time to go deeper into the methods
of training a linear regression model, which is always used when there is a large
number of features and instances in the memory.

---

Gradient Descent
This algorithm is a general algorithm that is used for optimization and for
providing the optimal solution for various problems. The idea of this algorithm
is to work with the parameters in an iterative way, to make the cost function as
simple as possible.
The gradient descent algorithm calculates the gradient of the error using the
parameter theta, and it works with the method of descending gradient. If the
gradient is equal to zero, you'll reach the minimum.
Also, you should keep in the mind that the size of the steps is very important for
this algorithm, because if it's very small – “meaning the rate of learning” is slow
– it will take a long time to cover everything that it needs to.

---

But when the rate of learning is high, It will take short time to cover what’s
needed, and it will provide an optimal solution.
At the end, you won't always find that all cost functions are easy, as you can see,
but you'll also find irregular functions that make getting an optimal solution very
difficult. This problem occurs when the local minimum and global minimum
looks like they do in the following figure.

---

If you assign any to any two points on your curve, you'll find that the segment of
the line won't join them on the same curve. This cost function will look like a
bowl, which will occur if the features have many scales, as n the following
image

---