Algorithms For Dummies

  Structuring Data 

     119

print(df, "\n")

  

df = df.drop_duplicates()

print(df)

  

   A  B  C

0  0  0  0

1  0  2  3

2  0  3  4

3  0  5  1

4  0  0  0

5  1  2  2

6  0  0  0

  

   A  B  C

0  0  0  0

1  0  2  3

2  0  3  4

3  0  5  1

5  1  2  2

The 

drop_duplicates

 function removes the duplicate records found in rows 4 and 

6 in this example. By reading your data from a source into a 

pandas

 

DataFrame

, 

you  can  quickly  remove  the  extra  entries  so  that  the  duplicates  don’t  unfairly 

weight the output of any algorithms you use.

Dealing with missing values

Missing values can also skew the results of an algorithm’s output. In fact, they can 

cause  some  algorithms  to  react  oddly  or  even  raise  an  error.  The  point  is  that 

missing values cause problems with your data, so you need to remove them. You 

do have many options when working with missing values. For example, you could 

simply set them to a standard value, such as 0 for integers. Of course, using a 

standard setting could also skew the results. Another approach is to use the mean 

of all the values, which tends to make the missing values not count. Using a mean 

is the approach taken in the following example

import pandas as pd

import numpy as np

  

df = pd.DataFrame({'A': [0,0,1,None],

                   'B': [1,2,3,4],

                   'C': [np.NAN,3,4,1]},

                 dtype=int)

---

120

 

   

  PART 2