Machine Learning: Step-by-Step Guide To Implement Machine Learning Algorithms with Python

 
Batch Gradient Descent
If you'd like to implement this algorithm, you should first calculate the gradient
of your cost function using the theta parameter. If the value of the parameter
theta has changed, you’ll need to know the changing rate of your cost function. 
We can call this change by a partial derivative
We can calculate the partial derivative using the following equation:
But we`ll also use the following equation to calculate the partial derivatives and
the gradient vector together.
Let’s implement the algorithm.
Lr = 1 # Lr for learning rate
Num_it = 1000 # number of iterations
L = 100
myTheta = np.random.randn (2,1)

---

for it in range(Num_it):
gr = 2/L * Value1.T.dot(Value1.dot(myTheta) – V2_y)
myTheta = myTheta – Lr * gr
>>> myTheta
Array([[num],[num]])
If you try to change the learning rate value, you'll get different shapes, as in the
following figure.

---

Stochastic Gradient Descent
You'll find a problem when you’re using the batch gradient descent: it needs to
use the whole training set in order to calculate the value at each step, and that
will affect performance “speed”.
But when using the stochastic gradient descent, the algorithm will randomly
choose an instance from your training set at each step, and then it will calculate
the value. In this way, the algorithm will be faster than the batch gradient
descent, since it doesn’t need to use the whole set to calculate the value. On the
other hand, because of the randomness of this method, it will be irregular when
compared to the batch algorithm.
Let’s implement the algorithm.
Nums = 50
L1, L2 = 5, 50
Def lr_sc(s):
return L1 / (s + L2)
myTheta = np.random.randn(2,1)
for Num in range (Nums):
for l in range (f)

---

myIndex = np.random.randint(f)
V1_Xi = Value1[myIndex:myIndex+1]
V2_yi = V2_y[myIndex:myIndex+1]
gr = 2 * V1_xi.T.dot(V1_xi.dot(myTheta) – V2_yi)
Lr = lr_sc(Num * f + i)
myTheta = myTheta – Lr * gr
>>> myTheta
Array ([[num], [num]])

---